Aucun Index pattern par défaut

Tristan_Ferioli · February 9, 2016, 3:32pm

Bonjour, je poste sur ce forum pour avoir la réponse a mon problème.
Alors voila j'ai installé le trio ELK pour centraliser les logs des mes boitiers VPN et et de mon SOnicFirewall.
Quand je lance mon kibana 4 en localhost:5601 (premier lancement) Il me propose de configurer un index pattern, or je ne sais pas comment faire, ni en quoi ca consiste précissement.

Pourriez vous me guidder sur la manipulation a faire ..? s'il vous plait

Si bessoin je peux fournnir mes config Logstash Kibana et Elasticsearch.

Merci de m'accorder du temps.

C_H · February 9, 2016, 5:49pm

Bonjour,

la première chose c'est de bien lire la doc. Ca parait futile comme ça mais on y trouve de tout, et bruler les étapes fait que l'on y comprend rien (je suis passé par la).

Déjà, commence par logstash : est-il configuré correctement pour sniffer tes logs ?
Typiquement, un index, c'est comme une base de données : il t'en faudrait autant que de logs différentes à sniffer. Dans ton cas, si tes VPN sont tous les mêmes il te faut 2 index.
Les index, tu les crées facilement avec le plugin Sense.

Donc dès que tu as créé tes indexes, lance un premier chargement et ensuite tu pourras associer un index dans Kibana (qui portera le même nom que celui que tu as créé dans Sense).

C'est pas évident au début mais si tu es curieux ça va aller vite En 1 semaine je suis passé de 0 connaissance à "je sais un peu plus me débrouiller tout seul". Et il y a pléthore de tutos sur le net

Tristan_Ferioli · February 10, 2016, 9:33am

IL ya un truc qu je ne comprend pas ...

Dans logstash j'ai fais un output sur localhost au port 9200 et au protocol http

Dans mon fichier elaticsearch.yml j'ai remplit ce-ci :
path.data : "/var lib/elasticsearch"
path.work: "/tmp/"
path.logs : " "/var/log/elasticsearch" .

les logs sniffer se trouve dans var log elasticsearch ?
Et je ne comprend pas comment régler cette histoire d'indexe ... ><

dadoonet · February 10, 2016, 9:58am

As-tu indexé des documents dans elasticsearch en utilisant logstash?

Que donne par exemple un GET _cat/indices?v ?

Tristan_Ferioli · February 10, 2016, 1:23pm

SI en parlant d'indéxé les document dans elasticsearch en utilisant logstash j'ai fait ça :

Excusez moi pour les liens mais je n'avais pas de palce pour copier tout les fichiers ...

SInon le résultat de la commande ma donné ceci :

curl localhost:9200/_cat/indices
Yellow open .kibana 1 1 1 0 2.5kb 2.5kb

dadoonet · February 10, 2016, 1:44pm

Utilise gist.github.com pour tes fichiers. C'est bien mieux intégré.

curl localhost:9200/_cat/indices
Yellow open .kibana 1 1 1 0 2.5kb 2.5kb


Montre bien que tu n'as rien indexé dans elasticsearch.

Tristan_Ferioli · February 10, 2016, 1:56pm

Comment je dois faire pour indexé les documents dans elasicsearch avec logstash ..?

et voici la conf de mon logsash :

gist.github.com

https://gist.github.com/anonymous/be31f83f65cd54d1e6c9

00_in_gelf.conf

input {
	gelf {
		type		=> "eventlog"
		port		=> "12202"
	}
}

01_in_sonnicwall.conf

input {
  	udp {
		port => "5514"
		type => "Sonicwall"
 	}	
  	tcp {
		port => "5514"
		type => "Sonicwall"
 	}	
}

10_filer_sonnicwall

filter {
	grok {
		match => { "message" => [ "<%{INT}>id=%{WORD:Identifiant}%{SPACE}sn=%{BASE16NUM:sn}%{SPACE}time=%{QS:timestamp}%{SPACE}fw=%{IP:fw_ip}%{SPACE}pri=%{INT:pri}%{SPACE}c=%{INT:c}%{SPACE}m=%{INT:m}%{SPACE}msg=%{QS:motif}%{SPACE}n=%{NUMBER:n}(%{SPACE}src=%{IP:src_ip})?(:%{INT:src_port})?(:%{USERNAME:src_interface})?(:%{HOSTNAME:src_hostname})?(%{SPACE}dst=%{IP:dest_ip})?(:%{INT:dest_port})?(:%{USERNAME:dest_interface})?(:%{HOSTNAME:dest_hostname})?(%{SPACE}note=%{QS:info})?(%{SPACE}proto=%{WORD:protocole}/%{USERNAME:protocole2})?(%{SPACE}srcMac=%{MAC=src_mac})?(%{SPACE}type=%{INT:type_value})?(%{SPACE}code=%{INT:code})?(%{SPACE}Category=%{QS:Categorie})?(,%{SPACE}%{QS:divers})?", "<%{INT}>%{WORD:flag}:%{SPACE}id=%{WORD:Identifiant}%{SPACE}sn=%{BASE16NUM:sn}%{SPACE}time=%{QS:timestamp}%{SPACE}vp_time=%{QS:utc_time}%{SPACE}fw=%{IP:fw_ip}%{SPACE}pri=%{INT:pri}%{SPACE}m=%{INT:m}%{SPACE}c=%{INT:c}(%{SPACE}src=%{IP:src_ip})?(%{SPACE}dst=%{IP:dest_ip})?(%{SPACE}dst=%{USERNAME:dest_fqdn})?%{SPACE}user=%{QS:user}%{SPACE}usr=%{QS:username}%{SPACE}msg=%{QS:motif}(%{SPACE}rule=%{USERNAME:regle})?(%{SPACE}proto=%{WORD:protocole}(/%{USERNAME:protocole2})?)?(%{SPACE}portal=%{QS:portail})?(%{SPACE}domain=%{QS:domaine})?(%{SPACE}active=%{INT:active})?(%{SPACE}duration=%{INT:duree})?%{SPACE}agent=%{QS:src_app}" ]
		}
	}	
	kv {
		remove_field	=> [ "timestamp","sn", "n", "m", "src", "dst", "c", "Category", "pri", "<131>id", "<129>id", "<133>id", "<132>id", "proto", "msg", "fw", "agent", "id", "usr", "vp_time", "note", "portal", "domain" ] 

	}
	if [src_ip] =~ /^10./ {

This file has been truncated. show original

There are more than three files. show original

dadoonet · February 10, 2016, 2:10pm

Comment lances-tu logstash avec tous ces fichiers ?

Pour ma part, je mets qu'un seul fichier .conf avec tout dedans.

Aussi, avant d'envoyer à elasticsearch les données, je te conseille de vérifier que quelque chose "entre et sort" de logstash en utilisant d'abord un stdout output plugin avec un codec rubydebug.

output { stdout { codec => rubydebug } }

Tristan_Ferioli · February 10, 2016, 2:31pm

Je démare le service logstash avec la commande "service logstash start"

J'ai donc refait mon fichier de configuration comme vous avec la sortie en stdout output plugin avec un codec rubydebug

gist.github.com

https://gist.github.com/anonymous/41f8d37c080c87688406

logstash.conf

input {
	gelf {
		type		=> "eventlog"
		port		=> "12202"
	}
	udp {
		port => "5514"
		type => "Sonicwall"
 	}	
  	tcp {

This file has been truncated. show original

Quelle est la manipe pour vérifier l'entre et sorti de logstash ?

dadoonet · February 10, 2016, 2:50pm

Le mieux serait de faire des tests sans "lancer un service" mais avec juste une instance logstash locale qui permet de récupérer la sortie.

Ensuite comme le disait @C_H, il faut commencer par le début et y aller petit à petit.
J'ai par exemple rédigé un pas à pas ici: http://david.pilato.fr/blog/2015/04/28/exploring-capitaine-train-dataset/

Commence par faire des trucs super simples. Genre tu mets:

input {
         gelf {
		type		=> "eventlog"
		port		=> "12202"
	}
}

filter { }

output {  stdout { codec => rubydebug } }

Et tu regardes ce que ça donne. Si là, déjà tu ne vois rien passer, pas la peine d'aller plus loin.

Donc, prépares bien tes inputs, vérifie que ça marche, puis ajoute un filtre, un autre, ... et à la fin, quand tout passe bien et le document final que tu souhaites est généré correctement, branche elasticsearch comme output.

Tristan_Ferioli · February 10, 2016, 2:56pm

D'accord merci de votre aide, je vais reprendre pas a pas; je vais essayer de vous tenir au courant de l'avancement.

Tristan_Ferioli · February 12, 2016, 11:06am

Re-Bonjour,
Alors j'ai tout recommencé a 0 et j'ai beaucoup mieux compris grace a la documentation et a votre site également dadoonet & C_H.
Mais j'aimerai que vous me renseigner sur une erreur qui apparait dans mon /var/log/logstash/logstash.log qui m'indit ceci :
Error : The setting 'host' in plugin 'elasticsearch' ins obsolete and is no longer available. Pleas use the hosts setting instead? You can specify multiple entries separated by comma in 'host:port' format. If you have any questions about this, you are invited to visit https://discuss.elastic.co/c/logstash and ask.
Je ne conprend pas vraiment l'erreur

dadoonet · February 12, 2016, 11:38am

Regarde comment je définis les hosts ici: http://david.pilato.fr/blog/2016/01/05/understanding-zipfs-law/