# Organizacion de los filtros de logstash para filtros propios

**URL:** <https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246>\
**Category:** Elastic en Español\
**Created:** [September 5, 2019, 12:37pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246 "2019-09-05T12:37:51Z")\
**Posts on this page:** 15\
**Page:** 2

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 17, 2019, 8:41am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/21 "2019-09-17T08:41:17Z")

</div>

Saludos @cristianaxion  
He conseguido quitar todos los campos menos el @timestamp, he intentado hacer que el campo fecha me lo haga de tipo date para que pueda borrar el @timestamp y usar el campo fecha como el campo por defecto para estos indices pero no me lo detecta como date ya que no tiene año.  
No puedes hacer que la fecha de los logs incluya el año?  
Si no estas seguro de si puedes dime el beats que estas usando para que te genere esos logs a ver si encuentro algo.

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 17, 2019, 10:28am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/22 "2019-09-17T10:28:21Z")

</div>

El campo timestamp no me importa que se quede esque no encuentro manera de que mis logs de mi maquina cliente de centos 6 muestre la fecha completa asi que con el timestamp no me importa...Los demas campos si me interesan que se muestren con el timestamp. Como los has conseguido el quitar lo campos por defecto y que has puesto en los campos de filter?????

---

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 17, 2019, 11:08am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/23 "2019-09-17T11:08:45Z")

</div>

Vale a ver te comento todo el proceso:  
primero el filter que yo tengo es el siguiente:

```
 filter {
    if "prueba" in [tags] {
            grok {
                    break_on_match => false

                    match => { "message" => "(?<fecha>[A-Za-z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+)" }

                    match => { "message" => "\:\d\d\s(?<host>([^\s]*))" }

                    match => { "message" => "(\d+[.]\d+\d+[.]\d+\d+[.]\d+\s|localhost\s)(?<error_message>([^^]*))"}
            }
            mutate {
                    remove_field => ["@version","path","message"]
            }

    }
}

```

Te explico el filtro: yo uso etiquetas [tags] porque tengo mas logs y es para que no se me mezclen, tu puedes omitir los if. El grok con los match te saca los tres campos que deseas y el remove\_field borra los campos que aparecen por defecto (yo he puesto esos y me aparece también el campo tags pero si lo borro no funciona porque yo uso etiquetas, si a ti te aparece alguno mas incluyelo también).  
Luego existen unos campos que se denominan meta campo (meta-fields) y que para que no aparezcan no se puede hacer desde el filtro de logstash, hay que hacerlo desde el kibana (estos campos son los que empiezan por un guion bajo como \_source, \_index, etc...) si te aparecen y quieres quitarlos vas a Advanced Settings en kibana y buscas el siguiente campo y deja unicamente el \_source (luego no aparecerá no te preocupes):  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/4/d/4d0ed86184787fa1fe0281576f859db3743b63a5.png)  
Después refresca la pagina para que dejen de aparecer y refresca también la lista de campos del index pattern (si te aparece algún error de los meta campos es normal simplemente ignóralo):

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/2/3/23c118036de4feb0024955c407196fbd72a45eb9.png)  
Si después de esto ves que no te carga la sección de Discover, refresca la pagina y se arregla.  
Y ya lo tendrías, te adjunto una ultima captura para que veas como queda (te recuerdo que yo tengo que dejar el campo tags). Si hay algo que no has entendido o no te funciona dímelo por si se me ha olvidado algo:  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/2/b/2beb17d36475f6638a3c6dff5ebc34bfb8f53551.png)

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 18, 2019, 11:07am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/24 "2019-09-18T11:07:38Z")

</div>

Buenos dias, hoy lo he probado y te comento como me ha salido, primero he añadido tu filtro y me va bien pero primero el campo host no aparece nose el porque... Segundo ya he quitado los campo de metaFields que eso ha sido de gran ayuda ahora hay otro problema que no se resolver no se si es por el formato del campo, mira me salen saliendo estos campos por defecto:

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/0/2/02f640b3d2d087cf39d45e2206ed49ecc8fda4bb.png)  
Ahora como me dijiste añadi los campos por defecto que quiero hacer desaparacer en remove field pero no desaparecen,por ejemplo el campo "log.file.path" no desaparece sigue saliendo pero probe un campo sin puntos que es el campo "source" y si me desaperece:  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/e/7/e716387384a86548498c6a5dc63a17cf633c61fb.png)  
Como ves aqui desaparece el campo"source" pero el "log.file.path" sigue apareciendo...  
Ya falta nada para terminar por fin y muchas gracias por toda la ayuda.  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/b/e/bec3117ed6c8ab0eb342d8b711837e99b32f6b89.png)

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 18, 2019, 12:06pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/25 "2019-09-18T12:06:22Z")

</div>

Solucione el problema de los campos por defecto, no habia que poner nada despues de los puntos ya solo me queda que no se porque el elemento Tags no se elimina y el host no aparece...Te enseño el resultado que llevo:

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/4/c/4c46c4fa31791e0e6236120c5960def8ae5d2d82.png)

---

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 18, 2019, 12:07pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/26 "2019-09-18T12:07:20Z")

</div>

Vale creo saber la solución a todo esto que me comentas.  
Cuando dices que no desaparecen campos como el caso de "log.file.path" supongo que te refieres a que no desaparecen de la columna de Available fields y siguen apareciendo ahí porque en algunos indices antiguos siguen estando antes de que los quitases con el filtro, es decir en los indices nuevos no aparecen (si despliegas alguno veras que esos campos no están) pero en los de hace días si están entonces tienes dos opciones, borrar todos los indices desde el Kibana como te muestro en la imagen o crear un nuevo index pattern que solo vea los indices que se generen a partir de ahora:

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/6/0/6069d5648a0239b00cd6141f486e8927e79b20cd.png)  
Te muestro la imagen de que en Available fields solo me parecen estos campos porque he borrado todos indices anteriores:  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/a/7/a7166687e8e4373acd8ab4c26cfaf4a512961c5c.png)  
Por ultimo el tema de que el campo host no te aparezca yo creo que se debe a que tienes varios campos que empiezan por host. y pueden estar haciendo conflicto con este, yo probaría a cambiarle el nombre aunque sea poner la h mayúscula del siguiente modo en el filtro de logstash (si ves que sigue sin aparecer poniendo solo la h mayúscula pon "equipo" por ejemplo):

```
match => { "message" => "\:\d\d\s(?<Host>([^\s]*))" }

```

Eso es todo, como siempre si hay algo que no te quede claro o no te sigue sin funcionar házmelo saber.

---

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 18, 2019, 12:11pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/27 "2019-09-18T12:11:44Z")

</div>

Te está dando un error de parseo del grok (es la etiqueta que te esta metiendo en el campo tags).  
Muéstrame como tienes actualmente el filtro de logstash por favor.

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 18, 2019, 12:14pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/28 "2019-09-18T12:14:11Z")

</div>

El problema del host ya esta solucionado, te muestro el filtro:

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/5/f/5f954924bd5a2ce7b83807b78147b59d604977ba.png)

---

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 18, 2019, 12:25pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/29 "2019-09-18T12:25:54Z")

</div>

Pasame la linea completa del remove\_field, copiala y pegala en texto.

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 18, 2019, 12:28pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/30 "2019-09-18T12:28:57Z")

</div>

["@version","path","message","type","event","source","offset","tags","log","host","prospector","beat","fileset","input"]

---

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 18, 2019, 2:22pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/31 "2019-09-18T14:22:34Z")

</div>

No me queda claro aun porque te da error de parseo, haz un `systemctl status logstash -l` y enséñame que te devuelve o enséñame el log de logstash.

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 23, 2019, 1:23pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/32 "2019-09-23T13:23:27Z")

</div>

Hola buenas, perdona por la tardanza pero tenia un trabajo que resolver...Te paso lo que me pides:  
systemctl status logstash -l  
● logstash.service - logstash  
Loaded: loaded (/etc/systemd/system/logstash.service; enabled; vendor preset: disabled)  
Active: active (running) since mié 2019-09-18 15:03:11 CEST; 5 days ago  
Main PID: 5176 (java)  
Tasks: 38  
CGroup: /system.slice/logstash.service  
└─5176 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djruby.compile.invokedynamic=true -Djruby.jit.threshold=0 -Djruby.regexp.interruptible=true -XX:+HeapDumpOnOutOfMemoryError -Djava.security.egd=file:/dev/urandom -cp /usr/share/logstash/logstash-core/lib/jars/animal-sniffer-annotations-1.14.jar:/usr/share/logstash/logstash-core/lib/jars/commons-codec-1.11.jar:/usr/share/logstash/logstash-core/lib/jars/commons-compiler-3.0.8.jar:/usr/share/logstash/logstash-core/lib/jars/error\_prone\_annotations-2.0.18.jar:/usr/share/logstash/logstash-core/lib/jars/google-java-format-1.1.jar:/usr/share/logstash/logstash-core/lib/jars/gradle-license-report-0.7.1.jar:/usr/share/logstash/logstash-core/lib/jars/guava-22.0.jar:/usr/share/logstash/logstash-core/lib/jars/j2objc-annotations-1.1.jar:/usr/share/logstash/logstash-core/lib/jars/jackson-annotations-2.9.8.jar:/usr/share/logstash/logstash-core/lib/jars/jackson-core-2.9.8.jar:/usr/share/logstash/logstash-core/lib/jars/jackson-databind-2.9.8.jar:/usr/share/logstash/logstash-core/lib/jars/jackson-dataformat-cbor-2.9.8.jar:/usr/share/logstash/logstash-core/lib/jars/janino-3.0.8.jar:/usr/share/logstash/logstash-core/lib/jars/javassist-3.22.0-GA.jar:/usr/share/logstash/logstash-core/lib/jars/jruby-complete-9.2.7.0.jar:/usr/share/logstash/logstash-core/lib/jars/jsr305-1.3.9.jar:/usr/share/logstash/logstash-core/lib/jars/log4j-api-2.9.1.jar:/usr/share/logstash/logstash-core/lib/jars/log4j-core-2.9.1.jar:/usr/share/logstash/logstash-core/lib/jars/log4j-slf4j-impl-2.9.1.jar:/usr/share/logstash/logstash-core/lib/jars/logstash-core.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.commands-3.6.0.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.contenttype-3.4.100.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.expressions-3.4.300.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.filesystem-1.3.100.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.jobs-3.5.100.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.resources-3.7.100.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.core.runtime-3.7.0.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.equinox.app-1.3.100.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.equinox.common-3.6.0.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.equinox.preferences-3.4.1.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.equinox.registry-3.5.101.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.jdt.core-3.10.0.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.osgi-3.7.1.jar:/usr/share/logstash/logstash-core/lib/jars/org.eclipse.text-3.5.101.jar:/usr/share/logstash/logstash-core/lib/jars/slf4j-api-1.7.25.jar org.logstash.Logstash --path.settings /etc/logstash

sep 18 15:04:13 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:13,710][INFO][logstash.outputs.elasticsearch] Using default mapping template  
sep 18 15:04:13 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:13,719][INFO][logstash.outputs.elasticsearch] New Elasticsearch output {:class=\>"LogStash::Outputs::ElasticSearch", :hosts=\>["[//10.238.198.145:9200](https://10.238.198.145:9200)"]}  
sep 18 15:04:13 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:13,870][INFO][logstash.outputs.elasticsearch] Attempting to install template {:manage\_template=\>{"template"=\>"logstash-_", "version"=\>60001, "settings"=\>{"index.refresh\_interval"=\>"5s"}, "mappings"=\>{"default"=\>{"dynamic\_templates"=\>[{"message\_field"=\>{"path\_match"=\>"message", "match\_mapping\_type"=\>"string", "mapping"=\>{"type"=\>"text", "norms"=\>false}}}, {"string\_fields"=\>{"match"=\>"_", "match\_mapping\_type"=\>"string", "mapping"=\>{"type"=\>"text", "norms"=\>false, "fields"=\>{"keyword"=\>{"type"=\>"keyword", "ignore\_above"=\>256}}}}}], "properties"=\>{"@timestamp"=\>{"type"=\>"date"}, "@version"=\>{"type"=\>"keyword"}, "geoip"=\>{"dynamic"=\>true, "properties"=\>{"ip"=\>{"type"=\>"ip"}, "location"=\>{"type"=\>"geo\_point"}, "latitude"=\>{"type"=\>"half\_float"}, "longitude"=\>{"type"=\>"half\_float"}}}}}}}}  
sep 18 15:04:14 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:14,914][INFO][logstash.inputs.beats] Beats inputs: Starting input listener {:address=\>"0.0.0.0:5044"}  
sep 18 15:04:15 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:15,586][INFO][logstash.pipeline] Pipeline started successfully {:pipeline\_id=\>"main", :thread=\>"#\<Thread:0x4151a360 run\>"}  
sep 18 15:04:15 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:15,776][INFO][org.logstash.beats.Server] Starting server on port: 5044  
sep 18 15:04:16 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:16,013][INFO][filewatch.observingtail] START, creating Discoverer, Watch with file and sincedb collections  
sep 18 15:04:16 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:16,015][INFO][filewatch.observingtail] START, creating Discoverer, Watch with file and sincedb collections  
sep 18 15:04:16 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:16,043][INFO][logstash.agent] Pipelines running {:count=\>1, :running\_pipelines=\>[:main], :non\_running\_pipelines=\>}  
sep 18 15:04:16 [pruebakibana.com](http://pruebakibana.com) logstash[5176]: [2019-09-18T15:04:16,673][INFO][logstash.agent] Successfully started Logstash API endpoint {:port=\>9600}

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/4/9/49a898577e337e3b5acf7caa8d31a44cc17d2bf5.png)

---

<div class="post-metadata">

**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\
**Post date:** [September 23, 2019, 2:48pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/33 "2019-09-23T14:48:16Z")

</div>

Yo creo que hay algún campo de los que has añadido al "remove\_field" yo probaria a quitar uno por uno para ver cual es el que provoca que en campo tags te aparezcca "\_grokparsefailure".  
De todas formas creo que puede haber una forma mas sencilla de quitar esos campos pero necesito que me digas que "beats" estas usando para enviar esos logs al logstash

---

<div class="post-metadata">

**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\
**Post date:** [September 24, 2019, 7:29am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/34 "2019-09-24T07:29:05Z")

</div>

Voy a probar esa solucion ahora te digo....De beats estoy utilizando logstash como beats ademas el campo message no puedo eliminarlo si lo elimino no me lee el campo que añadimos llamado Error\_Message..

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [October 22, 2019, 7:29am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/35 "2019-10-22T07:29:20Z")

</div>

Closed on October 22, 2019, 7:29am UTC

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.

[Previous page](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246.md?page=1)