Problema con Plugin Twitter

Elastic In Your Native Tongue Elastic en Español
1

Estimados,

espero me puedan ayudar, estoy teniendo el siguiente error al recolectar twitte con logstash:

{:timestamp=>"2017-03-21T11:24:08.575000-0300", :message=>"End of file reached", :exception=>#<EOFError: End of file reached>, :backtrace=>["org/jruby/ext/openssl/SSLSocket.java:777:in sysread'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/jruby-openssl-0.9.13-java/lib/jopenssl19/openssl/buffering.rb:121:inreadpartial'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-twitter-2.2.2/lib/logstash/inputs/twitter/patches.rb:31:in stream'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-twitter-2.2.2/lib/logstash/inputs/twitter/patches.rb:58:inrequest'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/twitter-5.15.0/lib/twitter/streaming/client.rb:37:in filter'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-twitter-2.2.2/lib/logstash/inputs/twitter.rb:128:inrun'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.2.4-java/lib/logstash/pipeline.rb:334:in inputworker'", "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-2.2.4-java/lib/logstash/pipeline.rb:328:instart_input'"], :options=>nil, :level=>:warn}

si necesitan mas información me avisan !..

Gracias.

Atte: RR

2

Hola @raulrivas85,

Cual es la configuracion que estas utilizando? Parece ser un problema del Twitter Input, y veo que otra gente ha visto el mismo problema en algun momento:

  1. Problem with twitter-plugin and https-proxies Logstash · Issue #41 · logstash-plugins/logstash-input-twitter · GitHub

Haz visto alguna otra reaccion de logstash? Esto es lo unico que muestra el log?

Saludos!

--Gabriel

3

Hola,

es una configuración básica ya que estoy realizando pruebas....

input {
twitter {
consumer_key => "V8HlRRch2npRsDxHhdxMZ4"
consumer_secret => "U2UX939wHDgvxNnoN6bhSm483rBgLXxWWIzasExP1H8"
oauth_token => "4325951-HB4QKxDzjL4x0abKoQjcEYP4b2XLhAwjI"
oauth_token_secret => "preppR7V2o3cBz8WkBQ2UaodV0Xjv7ISm5ju8Hco"
#locations => "-17.97389398493952,-69.79935066250003,-56.06919580115176,-67.60208503750003"
keywords => ["rock"]
#follows => "223918"
#use_samples => true
full_tweet => true
}
}
filter { }
output {
#stdout {
#codec => rubydebug
#}
elasticsearch {
hosts => [ "172.31.237.65" ]
#index => "twitter"
document_type => "tuits"
}
}

4

y pasa cuando los twittes que registra superan los 2mil cada 30 seg ..... cuando registra pocos, 100 o 200 anda bien .....

5

Que version estas utilizando exactamente?

Haz probado con agrandar la memoria de Logstash? con LS_HEAP_SIZE=4g bin/logstash (configurando LS_HEAP_SIZE antes de comenzar el proceso)?

Puede ser que el proceso se muera por falta de memoria, aunque 2000 tweets (documentos) cada 30 segundos la verdad que no es mucho, asi que algo mas esta sucediendo.

Saludos!

6

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.