Bonsoir Messieurs Dames,
Une nouvelle étrangeté m'est arrivée aujourd'hui.
Je travaillais sur logstash, dans le but de parser un message à l'aide de grok.
Pendant mes tests, j'ai dû redémarrer plusieurs fois mon container logstash, et tout se passait bien.
Puis il s'est mis à bugguer, il reste maintenant coincé à cette étape et ne fait plus rien derrière:
[INFO ] 2019-07-03 14:08:57.541 [Ruby-0-Thread-11: /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-output-elasticsearch-9.2.1-java/lib/logstash/outputs/elasticsearch/common.rb:42] elasticsearch - Attempting to install template {:manage_template=>{"template"=>"logstash-", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"default"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
Je pense que j'ai épuisé tous les sujets qui pouvaient m'amener vers une réponse.
Voici mon template logstash :
{ "logstash": { "order": 0, "version": 60001, "index_patterns": [ "logstash-*" ], "settings": { "index": { "refresh_interval": "5s" } }, "mappings": { "_default_": { "dynamic_templates": [ { "message_field": { "path_match": "message", "mapping": { "norms": false, "type": "text" }, "match_mapping_type": "string" } }, { "string_fields": { "mapping": { "norms": false, "type": "text", "fields": { "keyword": { "ignore_above": 256, "type": "keyword" } } }, "match_mapping_type": "string", "match": "*" } } ], "properties": { "@timestamp": { "type": "date" }, "geoip": { "dynamic": true, "properties": { "ip": { "type": "ip" }, "latitude": { "type": "half_float" }, "location": { "type": "geo_point" }, "longitude": { "type": "half_float" } } }, "@version": { "type": "keyword" } } } }, "aliases": {} } }
Je ne trouve pas d'erreur ailleurs, si ce n'est que je vois bien que l'indexe ne se créé pas et que rien ne remonte dans Kibana.
Voici mon input ainsi que l'output vers Elasticsearch:
# Definition input kafka
input {
kafka {
codec => json
bootstrap_servers => "serveur1:9092,serveur2:9092,serveur3:9092"
topics_pattern => [ ".*teampasswordmanager.*$" ]
group_id => "logstash-if"
add_field => [ "input_source", "kafka" ]
}
}
output {
if ( "_grokparsefailure" in [tags] ) {
elasticsearch {
hosts => [ "mes serveurs" ]
index => "grok_parsefailure-%{+YYYY.MM}"
}
}
else if ([pole] and [tricli] and [application] and [type]) {
elasticsearch {
hosts => [ "mes serveurs" ]
index => "%{pole}-%{tricli}-%{application}-%{type}-%{+YYYY.MM.dd}"
}
}
else if ([pole] and [tricli] and [application]) {
elasticsearch {
hosts => [ "mes serveurs" ]
index => "%{pole}-%{tricli}-%{application}-%{+YYYY.MM.dd}"
}
}
else {
# Configuration par defaut
elasticsearch {
hosts => [ "mes serveurs" ]
index => "trash-%{+YYYY.MM.dd}"
}
}
}
Je lui force bien de nouveaux indexes, donc à priori logstash-* ne devrait pas poser de problèmes.
Mais quelque chose m'échappe, et malgré les nombreux sujets autour de ce problème, je ne vois pas ce qui pourrait bloquer.
En vous remerciant par avance.