Всем привет! Я новичок в ELK. Есть сервер с CentOs 7, на нем установлен ELK 6.1, настроен Filebeat:
filebeat.prospectors:
- type: log
paths:
- /opt/tomcat/logs/calendar/log.log
exclude_lines: ['^org.springframework.']
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 3
setup.kibana:
host: "localhost:5601"
output.logstash:
hosts: ["localhost:5044"]
Конфиг Logstash:
input {
beats {
port => "5044"
}
}
filter {
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{SYSLOG5424SD:thread} %{SYSLOGHOST:logger} \[%{JAVACLASS:class}\:%{NUMBER:javaline}\] %{GREEDYDATA:message}" }
overwrite => [ "message" ]
}
}
filter {
date {
match => [ "timestamp", ISO8601 ]
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "calendar7-%{[@metadata][beat]}-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug }
}
Вчера запустила ./logstash -f calendar.conf, в Kibana появился нужный индекс, логи обновлялись корректно. Сегодня в Kibana пусто, то есть вчерашний индекс есть, сегодняшнего нет, логов соответственно тоже. Запустила еще раз ./logstash -f calendar.conf - индекс появился, логи вижу. Помогите, пожалуйста, разобраться, в чем проблема? Спасибо!
Igor_Motov
(Igor Motov)
January 17, 2018, 3:12pm
2
Может logstash за ночь упал и не пере-стартовал. Что в логах logstash видно?
спасибо за ответ. да, вы правы! он упал с ошибкой:
[2018-01-16T19:15:04,074][FATAL][logstash.runner] An unexpected error occurred! {:error=>#<SystemCallError: Unknown error (SystemCallError) - >, :backtrace=>["org/jruby/RubyIO.java:1457:in write'", "org/jruby/RubyIO.java:1428:in
write'", "/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-output-stdout-3.1.3/lib/logstash/outputs/stdout.rb:44:in block in multi_receive_encoded'", "org/jruby/RubyArray.java:1734:in
each'", "/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-output-stdout-3.1.3/lib/logstash/outputs/stdout.rb:43:in multi_receive_encoded'", "/usr/share/logstash/logstash-core/lib/logstash/outputs/base.rb:90:in
multi_receive'", "/usr/share/logstash/logstash-core/lib/logstash/output_delegator_strategies/single.rb:15:in block in multi_receive'", "org/jruby/ext/thread/Mutex.java:148:in
synchronize'", "/usr/share/logstash/logstash-core/lib/logstash/output_delegator_strategies/single.rb:14:in multi_receive'", "/usr/share/logstash/logstash-core/lib/logstash/output_delegator.rb:50:in
multi_receive'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:487:in block in output_batch'", "org/jruby/RubyHash.java:1343:in
each'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:486:in output_batch'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:438:in
worker_loop'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:393:in `block in start_workers'"]}
отключила вывод stdout { codec => rubydebug }, посмотрю, что будет дальше
system
(system)
Closed
February 14, 2018, 4:27pm
4
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.