Aucun Index pattern par défaut

Elastic In Your Native Tongue Discussions en français
1

Bonjour, je poste sur ce forum pour avoir la réponse a mon problème.
Alors voila j'ai installé le trio ELK pour centraliser les logs des mes boitiers VPN et et de mon SOnicFirewall.
Quand je lance mon kibana 4 en localhost:5601 (premier lancement) Il me propose de configurer un index pattern, or je ne sais pas comment faire, ni en quoi ca consiste précissement.

Pourriez vous me guidder sur la manipulation a faire ..? s'il vous plait

Si bessoin je peux fournnir mes config Logstash Kibana et Elasticsearch.

Merci de m'accorder du temps.

2

Bonjour,

la première chose c'est de bien lire la doc. Ca parait futile comme ça mais on y trouve de tout, et bruler les étapes fait que l'on y comprend rien (je suis passé par la).

Déjà, commence par logstash : est-il configuré correctement pour sniffer tes logs ?
Typiquement, un index, c'est comme une base de données : il t'en faudrait autant que de logs différentes à sniffer. Dans ton cas, si tes VPN sont tous les mêmes il te faut 2 index.
Les index, tu les crées facilement avec le plugin Sense.

Donc dès que tu as créé tes indexes, lance un premier chargement et ensuite tu pourras associer un index dans Kibana (qui portera le même nom que celui que tu as créé dans Sense).

C'est pas évident au début mais si tu es curieux ça va aller vite :wink: En 1 semaine je suis passé de 0 connaissance à "je sais un peu plus me débrouiller tout seul". Et il y a pléthore de tutos sur le net :wink:

1 Like
3

IL ya un truc qu je ne comprend pas ...

Dans logstash j'ai fais un output sur localhost au port 9200 et au protocol http

Dans mon fichier elaticsearch.yml j'ai remplit ce-ci :
path.data : "/var lib/elasticsearch"
path.work: "/tmp/"
path.logs : " "/var/log/elasticsearch" .

les logs sniffer se trouve dans var log elasticsearch ?
Et je ne comprend pas comment régler cette histoire d'indexe ... ><

Capture du 2016-02-10 10-29-05.png988×571 38.8 KB

4

As-tu indexé des documents dans elasticsearch en utilisant logstash?

Que donne par exemple un GET _cat/indices?v ?

5

SI en parlant d'indéxé les document dans elasticsearch en utilisant logstash j'ai fait ça :

Excusez moi pour les liens mais je n'avais pas de palce pour copier tout les fichiers ...





SInon le résultat de la commande ma donné ceci :

curl localhost:9200/_cat/indices
Yellow open .kibana 1 1 1 0 2.5kb 2.5kb

6

Utilise gist.github.com pour tes fichiers. C'est bien mieux intégré.

curl localhost:9200/_cat/indices
Yellow open .kibana 1 1 1 0 2.5kb 2.5kb


Montre bien que tu n'as rien indexé dans elasticsearch.
7

Comment je dois faire pour indexé les documents dans elasicsearch avec logstash ..? :confused:

et voici la conf de mon logsash :

8

Comment lances-tu logstash avec tous ces fichiers ?

Pour ma part, je mets qu'un seul fichier .conf avec tout dedans.

Aussi, avant d'envoyer à elasticsearch les données, je te conseille de vérifier que quelque chose "entre et sort" de logstash en utilisant d'abord un stdout output plugin avec un codec rubydebug.

output { stdout { codec => rubydebug } }
9

Je démare le service logstash avec la commande "service logstash start"

J'ai donc refait mon fichier de configuration comme vous avec la sortie en stdout output plugin avec un codec rubydebug

Quelle est la manipe pour vérifier l'entre et sorti de logstash ?

10

Le mieux serait de faire des tests sans "lancer un service" mais avec juste une instance logstash locale qui permet de récupérer la sortie.

Ensuite comme le disait @C_H, il faut commencer par le début et y aller petit à petit.
J'ai par exemple rédigé un pas à pas ici: http://david.pilato.fr/blog/2015/04/28/exploring-capitaine-train-dataset/

Commence par faire des trucs super simples. Genre tu mets:

input {
         gelf {
		type		=> "eventlog"
		port		=> "12202"
	}
}

filter { }

output {  stdout { codec => rubydebug } }

Et tu regardes ce que ça donne. Si là, déjà tu ne vois rien passer, pas la peine d'aller plus loin.

Donc, prépares bien tes inputs, vérifie que ça marche, puis ajoute un filtre, un autre, ... et à la fin, quand tout passe bien et le document final que tu souhaites est généré correctement, branche elasticsearch comme output.

11

D'accord merci de votre aide, je vais reprendre pas a pas; je vais essayer de vous tenir au courant de l'avancement.

12

Re-Bonjour,
Alors j'ai tout recommencé a 0 et j'ai beaucoup mieux compris grace a la documentation et a votre site également dadoonet & C_H.
Mais j'aimerai que vous me renseigner sur une erreur qui apparait dans mon /var/log/logstash/logstash.log qui m'indit ceci :
Error : The setting 'host' in plugin 'elasticsearch' ins obsolete and is no longer available. Pleas use the hosts setting instead? You can specify multiple entries separated by comma in 'host:port' format. If you have any questions about this, you are invited to visit https://discuss.elastic.co/c/logstash and ask.
Je ne conprend pas vraiment l'erreur :confused:

13

Regarde comment je définis les hosts ici: http://david.pilato.fr/blog/2016/01/05/understanding-zipfs-law/