# Organizacion de los filtros de logstash para filtros propios **URL:** \ **Category:** Elastic en Español\ **Created:** [September 5, 2019, 12:37pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246 "2019-09-05T12:37:51Z")\ **Posts on this page:** 20\ **Page:** 1
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 5, 2019, 12:37pm UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/1 "2019-09-05T12:37:51Z")
Hola buenas, tengo la siguiente configuracion de los filtros: ![image](https://us1.discourse-cdn.com/elastic/original/3X/b/e/be76f768dc3a6a2510c70e5c6374f7ffc1dc70b7.png) vale hasta ahi perfecto porque kibana me funciona perfectamente pero lo que quiero es crear un filtro que me recoja los siguientes datos creado con el grok debugger en kibana: ![image](https://us1.discourse-cdn.com/elastic/original/3X/4/e/4ef6a2436fd599bbea4c09124732a5a1bd92b33d.png) ![image](https://us1.discourse-cdn.com/elastic/original/3X/b/7/b78aa125df449d610e418a4ced896e626cd5b68d.png) no tengo ni idea si tengo que añadirle un archivo nuevo a los filtroas o modificar algo en algun archivo para que solo salgan esos parámetros... Seria de gran ayuda porfavor!!!! Gracias ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 6, 2019, 9:58am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/2 "2019-09-06T09:58:43Z")
Hola @cristianaxion ¿Podrías pasar el contenido del campo "message" de uno de tus logs? Gracias ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 6, 2019, 10:18am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/3 "2019-09-06T10:18:16Z")
Ahi lo llevas ![image](https://us1.discourse-cdn.com/elastic/original/3X/c/c/cc352b77dfbc223f34ab078e9a5bee40ecb932d4.png) ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 9, 2019, 7:22am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/4 "2019-09-09T07:22:29Z")
Saludos @cristianaxion Si entendí bien, lo que quieres es sacar los campos error\_message, tiempo y host para tus indices, cierto? Si es así debes hacerlo usando expresiones regulares en un filtro de tu logstash, por ejemplo, en tu caso para sacar el campo tiempo es de la siguiente forma: > filter{ > grok { > match =\> [ > "message", > "(?\< fecha\>[A-Za-z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+)" > ] > } > } Nota: quita el espacio entre el símbolo \< y la palabra fecha. Si es esto lo que quieres y necesitas ayuda para sacar los otros dos campos házmelo saber. ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 9, 2019, 7:51am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/5 "2019-09-09T07:51:23Z")
Si, por favor necesito los otros dos campos para poder hacer el filtro entero...Otra pregunta tengo una archivo json creado con los campos anteriormente enseñados, necesito pornerlo en la slaidas para que el filtro coja correctamente los datos o no hace falta? ya solo con los filtros se filtra correctamente...Te adjunto mi archivo de logstash entero y mi json creado por si hace falta que lo veas.Muchisimas Gracias ![image](https://us1.discourse-cdn.com/elastic/original/3X/4/a/4a8824d669c12d9f15c1222ff65a1740ed4416c6.png) ![image](https://us1.discourse-cdn.com/elastic/original/3X/2/5/259730f31cb4e9253ee114bd21296f7cbe17b24c.png) ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 9, 2019, 8:03am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/6 "2019-09-09T08:03:36Z")
Yo no he usado nunca el archivo json con los campos puesto que ya le estas indicando el campo en la expresión regular (como puedes ver en la que te he enviado pone el campo fecha) yo creo que únicamente con la transformación en json ( stdout {codec =\> "json"}) es suficiente. Ok, dame un momento para sacar la expresión regular de los otros dos campos, en cuanto los tenga te los paso. ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 9, 2019, 8:24am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/7 "2019-09-09T08:24:14Z")
Okey borro el campo path para que conecte con el archivo creado y dejo solo el campo (stdout { códec =\> "json"}), espero tu respuesta para los otros filtros.Gracias ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 9, 2019, 8:55am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/8 "2019-09-09T08:55:28Z")
Hola de nuevo @cristianaxion Ya tengo las expresiones regulares de los otros campos, deberían funcionar. Campo host: > grok { > match =\> [ > "message", > ":\d\d\s(?\< host\>([^\s]\*))" > ] > } Campo error\_message: > grok { > match =\> [ > "message", > "localhost\s|\d+[.]\d+[.]\d+[.]\d+\s(?\([^^]\*))" > ] > } De nuevo quita los espacios despues del \<. No he trabajado mucho con expresiones regulares pero ayudándome de la pagina [https://regex101.com/](https://regex101.com/) he comprobado que el campo lo sacan bien. De todas formas comprueba que te funcionan porque yo no puedo comprobarlo con un logstash ni un ES reales. ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 9, 2019, 9:35am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/9 "2019-09-09T09:35:35Z")
Alguna manera de que el archivo esta correctamente o comando para ver si la configuración esta bien...esq se me reinicia solo el logstash y no hay manera de ver si los datos puestos estan correctamente...El filtro ya esta aplicado ![image](https://us1.discourse-cdn.com/elastic/original/3X/e/3/e3914a56990c8734429cb3d2e591afdeca1e6e5f.png) ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 9, 2019, 9:48am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/10 "2019-09-09T09:48:50Z")
No, simplemente si logstash se reinicia y se mantiene encendido es que logstash reconoce bien la sintaxis, luego hay que ver si aparecen los campos en elasticsearch. Para ello tienes que actualizar la lista de campos de tu index pattern en kibana, te paso una captura: ![image](https://us1.discourse-cdn.com/elastic/original/3X/1/d/1d296b67a019cd1046a5472e307a81b3b49a9a18.png) ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 9, 2019, 10:06am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/11 "2019-09-09T10:06:03Z")
He cojido un kibana diferente en el cual se conecta correctamente para probarlo y esta corriendo correctamente pero cuando actualizo no me aparecen los campos añadidos...Refresco y en mi index pattern pero no me aparece nada, he creado un index nuevo para ver si me coje correctamemte los datos y me sigue cojiendo los datos antiguos... ![image](https://us1.discourse-cdn.com/elastic/original/3X/1/d/1d8a3e87d97d89c7d2a1bcc4f1b589d8e238a055.png) ![image](https://us1.discourse-cdn.com/elastic/original/3X/3/5/3553c7a00c41dee457ec2de0b484973c8a8f092e.png) ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 9, 2019, 10:22am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/12 "2019-09-09T10:22:23Z")
Prueba una cosa, haz distintos grok no uses uno para los tres campos. Te paso una captura de mi filtro para que veas a lo que me refiero: ![image](https://us1.discourse-cdn.com/elastic/original/3X/5/1/513f2bd708077a90490acac8f0a3eda529a61489.png) Luego reinicia logstash y refresca la lista de campos en kibana a ver si te aparecen. ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 9, 2019, 10:50am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/13 "2019-09-09T10:50:49Z")
He probado esa cosa y me sigue sin salir te muestro los archivos de configuración de este logstash y los filtros que aparecen: ![image](https://us1.discourse-cdn.com/elastic/original/3X/e/5/e5778a440d2460710658f7fa5cb94e598802cdc4.png) En este kibana he creado tres archivos de logstash y los he separado: ![image](https://us1.discourse-cdn.com/elastic/original/3X/2/4/245c32bfc5251f38c442413fde467e4c4f51eba2.png) Aqui te muestro la configuracion dentro de los archivos en el cual se muestra lo visto anteriormente con los filtros que me has indicado: ![image](https://us1.discourse-cdn.com/elastic/original/3X/c/9/c9eca168be30d3f5beefaf2ed15ab3fb5f380192.png) Y aqui lo que me arroja los logs de logstash: ![image](https://us1.discourse-cdn.com/elastic/original/3X/8/b/8b49f61b5b81de494591a9ae3f1b3eae85e67ce2.png) Aver si asi se te ocurre porque no puede ir ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 9, 2019, 11:12am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/14 "2019-09-09T11:12:41Z")
Estoy dándole vueltas porque hay algo que se nos está escapando. Los archivos de configuración tienen buena pinta, ademas logstash no se queja así que no creo que sea el problema. El error de "Mapping conflict" de kibana ya te salia antes de añadir el filtro? Mándame un pantallazo de un index del campo message en kibana como la que te muestro yo: ![image](https://us1.discourse-cdn.com/elastic/original/3X/0/8/08d2eebcb990c9e7f95ae1dd492ba3ffe3e64ec2.png) Mientras voy a intentar hacerme un filtro similar y a probarlo en mi entorno. ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 9, 2019, 11:27am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/15 "2019-09-09T11:27:48Z")
El error de maping confclit me daba desde el principio porque con los filtros correctos funciona todo menos los mapas porque daban error y lo he preguntado en otro foro y no me han contestado....Te paso el campo message con los campos que te dije: ![image](https://us1.discourse-cdn.com/elastic/original/3X/3/2/32a1b218d80fdcbfea0bd19bb273a3171d4ba81c.png) ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 10, 2019, 10:50am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/16 "2019-09-10T10:50:36Z")
Hola buenas has podido realizar el filtro de prueba y probarlo en tu entorno?? Gracias, un saludo ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 13, 2019, 6:56am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/17 "2019-09-13T06:56:30Z")
Saludos @cristianaxion Lamento no haber podido ayudarte estos días he estado muy ocupado. Si sigues necesitando ayuda con este tema dímelo por favor y probaré cosas en mi entorno. Gracias ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 13, 2019, 7:36am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/18 "2019-09-13T07:36:54Z")
Si, porfvaor he probado varias soluciones pero ninguna sin resultados, me seria de gran ayuda. Un saludo y gracias ---
**Author:** ![dgonzalezp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dgonzalezp/32/50804_2.png) [@dgonzalezp](https://discuss.elastic.co/u/dgonzalezp)\ **Post date:** [September 13, 2019, 11:00am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/19 "2019-09-13T11:00:42Z")
Vale esto creo que es lo que buscas, como ves están tres campos, lo que no se es si quieres quitar los campos por defecto que pone Elasticsearch. ![image](https://us1.discourse-cdn.com/elastic/original/3X/9/b/9b310a9b2e06496db792040cf3bb066c668d1878.png) Por cierto, el campo host, al ser un campo que también agrega Elastic se mete el nombre de la maquina y del log, te recomiendo cambiar de nombre ya sea poner la primera en mayúscula o algo así. Dime lo que prefieres y te digo como hacerlo. ---
**Author:** ![cristianaxion](https://avatars.discourse-cdn.com/v4/letter/c/aca169/32.png) [@cristianaxion](https://discuss.elastic.co/u/cristianaxion)\ **Post date:** [September 16, 2019, 10:52am UTC](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246/20 "2019-09-16T10:52:48Z")
Claro solo necesito los tres campos que son fecha, error\_message , y host lo demas por defecto deberia de quitarlo porque no me interesan de donde vienen esos campos, lo que no se si es posible???? si es asi porfavor pasame como seria el formato para los filtros que solicito. Muchisimas gracias por ayuda.Un saludo [Next page](https://discuss.elastic.co/t/organizacion-de-los-filtros-de-logstash-para-filtros-propios/198246.md?page=2)