Tri d'url sans les query strings

[Adrien_Bigot]

Bonjour,

J'ai un ELK 2.4 (bientôt migré en 5) qui index des logs Varnish et Apache d'une plateforme web. Je n'ai aucun template personnalisé pour le moment tout est en full auto.
Les différentes URLs sont dans les champs requests (analyzed) et requests.raw.

Je voulais savoir si il était possible de classer et compter facilement avec kibana le nombre de requêtes sans leur query string ou si il me faut côté logstash faire sauter la query_string et l'indexer dans un autre champ pour faire un uniq count par la suite ?

Exemple :
/contents/12154541?site=2
/contents/12154541?site=4
/contents/12154541?site=33
/contents/12154541?site=8
/contents/foot/22222222?site=81
/contents/foot/22222222?site=18
/contents/rugby/22222222?site=5
/contents/rugby/22222222?site=3
/contents/rugby/22222222?site=6

me donnerait
/contents/12154541 => count 4
/contents/foot/22222222 => count 2
/contents/rugby/22222222 => count 3

Merci par avance

Adrien

[dadoonet (David Pilato)]

En utilisant un path analyzer, ça pourrait peut-être aider.

[Adrien_Bigot]

Merci je vais regarder ce dont il s'agit.

[ebuildy (Thomas Decaux)]

Hello, fais le côté logstash, c'est jamais bon de laisser sa couche "data" faire des transformation comme ça, (ça donne un côté boite noire qui complique la maintenance ^^).

Avec un filter GROK ou Ruby, ça doit le faire.