Comment logstash ignore les fichiers supprimés (plus existés)

[alicia1 (alicia)]

Bonjour,

J'ai rencontré une erreur logstash ci-dessous lorsqu'un fichier déjà index n'existe plus dans le répertoire source. Car on supprime régulièrement les anciens fichiers de logs.

Existe-il un moyen d'ignorer ce type d'erreurs logstash?

Merci.

[dadoonet (David Pilato)]

Merci de ne pas poster des images de code ou logs parce que ce n'est ni lisible ni cherchable.

A la place, merci de copier les logs ou le code et de le formatter avec l'icone </>. Vérifier avec la fenêtre de prévisualisation.

[alicia1 (alicia)]

OK.

L'erreur logstash ci-dessous car le fichier déjà indexé n’existe plus (le fichier a été supprimé):

[2018-08-06T10:58:26,703][ERROR][filewatch.tailmode.processor] Ignored - other error C:/XX/Erreurs/toto.csv:
 (No such process - C:/XX/Erreurs/toto.csv, ["org/jruby/RubyFile.java:938:in `stat'", 
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/stat/windows_path.rb:19:in `restat'", 
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/watched_file.rb:110:in `restat'", 
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/tail_mode/processor.rb:271:in `common_restat'",
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/tail_mode/processor.rb:261:in `common_restat_with_delay'",
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/tail_mode/processor.rb:117:in `block in process_ignored'",
 "org/jruby/RubyArray.java:1734:in `each'", "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/
 tail_mode/processor.rb:116:in `process_ignored'"])

J'aimerais savoir s'il existe un moyen d'ignorer ce type d'erreurs dans logstash?

Merci.

[dadoonet (David Pilato)]

Et quelle est la configuration du pipeline Logstash que tu as?

[alicia1 (alicia)]

La configuration est:

file {
	path => "C:/*/Erreurs/toto.csv"
	sincedb_path => "C:/XX/logstash/6.2.4/data/.toto.log.sincedb"
	codec => plain { charset => "US-ASCII"}
	start_position => "beginning"
}

[dadoonet (David Pilato)]

Normalement le rename est bien géré. https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#_file_rotation_2

Pour la suppression, j'ai un doute... Peut-être que @colinsurprenant en sait plus.

[alicia1 (alicia)]

Merci.
J'ai pas trouvé sur le doc pour la suppression...

[colinsurprenant]

Ceci me semble un bug sous Windows en effet. Normalement le file input devrait simplement ignorer un fichier qui a disparu. Si vous avez un compte sous Github je vous inviterais à créer une issue avec cette information sous https://github.com/logstash-plugins/logstash-input-file.

Je vais aussi faire le suivi avec @guyboertje qui à récemment apporté beaucoup d'améliorations au file input.