Problema con Plugin Twitter

[raulrivas85 (Raul Rivas)]

Estimados,

espero me puedan ayudar, estoy teniendo el siguiente error al recolectar twitte con logstash:

{:timestamp=>"2017-03-21T11:24:08.575000-0300", :message=>"End of file reached", :exception=>#<EOFError: End of file reached>, :backtrace=>["org/jruby/ext/openssl/SSLSocket.java:777:in sysread'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/jruby-openssl-0.9.13-java/lib/jopenssl19/openssl/buffering.rb:121:inreadpartial'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-twitter-2.2.2/lib/logstash/inputs/twitter/patches.rb:31:in stream'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-twitter-2.2.2/lib/logstash/inputs/twitter/patches.rb:58:inrequest'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/twitter-5.15.0/lib/twitter/streaming/client.rb:37:in filter'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-twitter-2.2.2/lib/logstash/inputs/twitter.rb:128:inrun'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.2.4-java/lib/logstash/pipeline.rb:334:in inputworker'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.2.4-java/lib/logstash/pipeline.rb:328:instart_input'"], :options=>nil, :level=>:warn}

si necesitan mas información me avisan !..

Gracias.

Atte: RR

[gmoskovicz (Gabriel Moskovicz)]

@raulrivas85

End of file reached

Hola @raulrivas85,

Cual es la configuracion que estas utilizando? Parece ser un problema del Twitter Input, y veo que otra gente ha visto el mismo problema en algun momento:

1. Problem with twitter-plugin and https-proxies Logstash · Issue #41 · logstash-plugins/logstash-input-twitter · GitHub

Haz visto alguna otra reaccion de logstash? Esto es lo unico que muestra el log?

Saludos!

--Gabriel

[raulrivas85 (Raul Rivas)]

Hola,

es una configuración básica ya que estoy realizando pruebas....

input {
twitter {
consumer_key => "V8HlRRch2npRsDxHhdxMZ4"
consumer_secret => "U2UX939wHDgvxNnoN6bhSm483rBgLXxWWIzasExP1H8"
oauth_token => "4325951-HB4QKxDzjL4x0abKoQjcEYP4b2XLhAwjI"
oauth_token_secret => "preppR7V2o3cBz8WkBQ2UaodV0Xjv7ISm5ju8Hco"
#locations => "-17.97389398493952,-69.79935066250003,-56.06919580115176,-67.60208503750003"
keywords => ["rock"]
#follows => "223918"
#use_samples => true
full_tweet => true
}
}
filter { }
output {
#stdout {
#codec => rubydebug
#}
elasticsearch {
hosts => [ "172.31.237.65" ]
#index => "twitter"
document_type => "tuits"
}
}

[raulrivas85 (Raul Rivas)]

y pasa cuando los twittes que registra superan los 2mil cada 30 seg ..... cuando registra pocos, 100 o 200 anda bien .....

[gmoskovicz (Gabriel Moskovicz)]

Que version estas utilizando exactamente?

Haz probado con agrandar la memoria de Logstash? con LS_HEAP_SIZE=4g bin/logstash (configurando LS_HEAP_SIZE antes de comenzar el proceso)?

Puede ser que el proceso se muera por falta de memoria, aunque 2000 tweets (documentos) cada 30 segundos la verdad que no es mucho, asi que algo mas esta sucediendo.

Saludos!