Comment logstash ignore les fichiers supprimés (plus existés)

Bonjour,

J'ai rencontré une erreur logstash ci-dessous lorsqu'un fichier déjà index n'existe plus dans le répertoire source. Car on supprime régulièrement les anciens fichiers de logs.

Existe-il un moyen d'ignorer ce type d'erreurs logstash?

Merci.

Merci de ne pas poster des images de code ou logs parce que ce n'est ni lisible ni cherchable.

A la place, merci de copier les logs ou le code et de le formatter avec l'icone </>. Vérifier avec la fenêtre de prévisualisation.

OK.

L'erreur logstash ci-dessous car le fichier déjà indexé n’existe plus (le fichier a été supprimé):

[2018-08-06T10:58:26,703][ERROR][filewatch.tailmode.processor] Ignored - other error C:/XX/Erreurs/toto.csv:
 (No such process - C:/XX/Erreurs/toto.csv, ["org/jruby/RubyFile.java:938:in `stat'", 
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/stat/windows_path.rb:19:in `restat'", 
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/watched_file.rb:110:in `restat'", 
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/tail_mode/processor.rb:271:in `common_restat'",
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/tail_mode/processor.rb:261:in `common_restat_with_delay'",
 "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/tail_mode/processor.rb:117:in `block in process_ignored'",
 "org/jruby/RubyArray.java:1734:in `each'", "C:/XX/logstash/6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.5/lib/filewatch/
 tail_mode/processor.rb:116:in `process_ignored'"])

J'aimerais savoir s'il existe un moyen d'ignorer ce type d'erreurs dans logstash?

Merci.

Et quelle est la configuration du pipeline Logstash que tu as?

La configuration est:

file {
	path => "C:/*/Erreurs/toto.csv"
	sincedb_path => "C:/XX/logstash/6.2.4/data/.toto.log.sincedb"
	codec => plain { charset => "US-ASCII"}
	start_position => "beginning"
}

Normalement le rename est bien géré. https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#_file_rotation_2

Pour la suppression, j'ai un doute... Peut-être que @colinsurprenant en sait plus.

Merci.
J'ai pas trouvé sur le doc pour la suppression...

Ceci me semble un bug sous Windows en effet. Normalement le file input devrait simplement ignorer un fichier qui a disparu. Si vous avez un compte sous Github je vous inviterais à créer une issue avec cette information sous https://github.com/logstash-plugins/logstash-input-file.

Je vais aussi faire le suivi avec @guyboertje qui à récemment apporté beaucoup d'améliorations au file input.

1 Like

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.