Diferentes entradas y filtros de logstash


(Erick Garcia Perez) #1

Buenas tardes!
Como puedo tener diferentes archivos de entrada con logstash y diferentes filtros.
Yo lo tengo asi y queria saber si es correcto
input {
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/access"
type => "apache_access"
#start_position => "beginning"
sincedb_path => "/dev/null"
}
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/mysql_error.log"
type => "mysql"
}
file{
path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/catalina.out"
type => "tomcat"
codec => multiline {
pattern => "(^%{MONTH} %{MONTHDAY}, 20%{YEAR} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) (?:AM|PM))"
what => "previous"
}
}

 #file{
    #path => "/home/clusterelastic/cluster/nodo1/logstash-5.5.2/logsaleer/localhost_access_log.2017-08-21" 
   # type => "apache_access"
  
   
#}

}

filter {
if [type] in [ "apache" , "apache_access" , "apache-access" ,"access"] {
grok {
match => ["message"," %{IP:clientip} - - [%{NOTSPACE:date} -%{INT}] "%{WORD:action} /%{WORD}/%{WORD}/%{NOTSPACE:login}
%{WORD:protocol}/%{NUMBER:protocolNum}" %{NUMBER:status} %{NUMBER} "%{NOTSPACE}" "%{NOTSPACE:client} (%{WORD}; %{WORD:clientOs}%{GREEDYDATA}"]
}
}

}
output {
#elasticsearch {
#hosts => ["localhost:9200"]
#}
csv{
fields =>["request"]
path =>"/home/clusterelastic/cluster/csv-salida.csv"

}
stdout { codec => rubydebug }
}


(Gabriel Moskovicz) #2

Hola Erick,

Esto pareceria estar correcto!!

La unica forma de hacer esto en un logstash unico es utilizando condicionales. Quiere decir que asignar o utilizar una propiedad de los inputs, para luego checkear con un if es la forma correcta de hacerlo.

Los condicionales funcionan en los filtros o salidas, pero no en las entradas ya que no tiene sentido. Antes de ejecutar la entrada aun no existe ningun evento. Y ademas, luego las entradas funcionan en paralelo no es secuencia, entonces es como todas entradas separadas aunque parece una cola de entradas. Los filtros y salidas si funcionan como una cola, en las que todas se van a ejecutar en forma secuencial.

Saludos!

--Gabriel


(system) #3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.