Error de salida con Logstash

Elastic In Your Native Tongue Elastic en Español
1

Buenas tardes, alguien que me diga como trabajar con logs remotos apoyado de rsync junto con logstash, ando trabajando con logstash y logs remotos pero a la hora de insertar un registro en un log, la salida(output) de logstash me muestra dos veces el registro o se pone a leer todo el archivo desde el inicio

2

Hola @Erick_Garcia_Perez!

Cual es la configuracion de Logstash que estas utilizando? Alguna chances de que logrotate o algun programa este modificando el archivo?

Saludos!

3

Hola esta es mi configuracion para logstash
input {
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/log_aceso/accesso"
type => "access"
#sincedb_path =>"/dev/null"
}
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/log_aceso/accesso2"
type => "access"
#sincedb_path =>"/dev/null"
}
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/log_error/error"
type => "errorapa"
#sincedb_path => "/dev/null"
}
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/log_mysql/mysql"
type => "mysql_error"
}
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/tomcat_catalina_out/tomcatcatalinaout"
type => "tomcat"
codec => multiline {
pattern => "^%{DATA:day} %{DATA:DAY}, %{DATA:year} %{HOUR}:%{MINUTE}:%{SECOND} (?:AM|PM) "
negate => true
what => "previous"
}
#sincedb_path => "/dev/null"
}
}
filter {
if [type] in ["apache","apache_access","apache-access","access"] {
grok {
match => ["message","%{IP:clientip} - - %{GREEDYDATA}"]
}
}
}
filter{
if [type] in ["errorapa"] {
grok {
match => ["message","%{GREEDYDATA}"]
}
}

}

filter {
#Deal with the multi-line MySQL/MariaDB log entries
if [type] in ["mysql_error"] {
grok {
match => [ "message","%{GREEDYDATA:message}"]
}
}
}
filter {
if [type] in ["tomcat"]{
grok {
match => [ "message", "%{DATA:day} %{DATA:DAY}, %{DATA:year} %{HOUR}:%{MINUTE}:%{SECOND} (?:AM|PM)" ]
}
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
stdout { codec => rubydebug }
}

4

Eso queria corroborar. Esto seria lo unico que podria hacer que logstash lea de vuelta los documentos. La otra opcion es que esten borrando el sincedb por algun motivo. Si eso sucede tambien puede pasar que Logstash "se olvide" de donde estaba leyendo y lo lea nuevamente. De otra forma al tener solo un Elasticsearch output no deberias de tener problemas.

Saludos!

5

Gracias, y como corroboro que no se este borrando el sincedn?

6

En la carpeta data se crea por defecto esto. Si no estan tocando la carpeta data, entonces no deberia estar sucediendo esto:

Path of the sincedb database file (keeps track of the current position of monitored log files) that will be written to disk. The default will write sincedb files to <path.data>/plugins/inputs/file NOTE: it must be a file path and not a directory path

Saludos !

7

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.