Requête pour filter les mêmes messages dans différentes indices d'un même index (Kibana Dashboard))

[alicia1 (alicia)]

Bonjour,

Dans kibana, j'ai plusieurs indices d'un même index, exemple: Index1_date1, Index1_date2 et Index_daten, un même message de log peut retrouver dans une ou plusieurs indices différentes,
je souhaite filter ces messages redondants et affichier uniquement de nouveaux messages dans kibana et créer un Dashboard qui nous donne le nombre de nouveaux messages entrants par jour.

Savez vous comment faire cela?

Merci.

[Charaf_Ahmed]

Cela vous pouvez le gerer directement dans Kibana. Dans l'option tout en haut à droite, ( Time Range ), vous pourvez selectionner d'afficher seulement les activités journalier en choisissant le bon index ( log-* )

[alicia1 (alicia)]

Merci @Charaf_Ahmed.

Au fait, j'ai des messages en doublon dans des indices (car un même message peut apparaître plusieurs fois dans des différents fichiers de logs qui revient tous les jours).

Je souhaite dans kibana filter les messages en doublon afin qu'un même message n'appaître qu'une seule fois dans la vue.

cela serait-il possible avec une requête Lucene?

Merci.

[Charaf_Ahmed]

umm-hum je comprends bien ta question mais malheureusement ça depasse mon niveau.
Desolé

[dadoonet (David Pilato)]

Non.

Il faut évite les doublons par un traitement avant d'injecter.

[alicia1 (alicia)]

Merci @dadoonet.

Dans logstash? As tu un exemple de config logstash pour faire cela en amont?

Merci.

[dadoonet (David Pilato)]

Non mais dans l'idée tu peux générer un fingerprint de ton document et utiliser cette valeur comme id de document. Ainsi dès que tu as un doublon il sera juste écrasé.