Filebeat, Logstash и ротация логов

[uliana_andreeva]

Всем привет! Я новичок в ELK. Есть сервер с CentOs 7, на нем установлен ELK 6.1, настроен Filebeat:

filebeat.prospectors:
- type: log
  paths:
    - /opt/tomcat/logs/calendar/log.log
  exclude_lines: ['^org.springframework.']

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:
  host: "localhost:5601"

output.logstash:
  hosts: ["localhost:5044"]

Конфиг Logstash:

input {
    beats {
        port => "5044"
    }
}
filter {
    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{SYSLOG5424SD:thread} %{SYSLOGHOST:logger} \[%{JAVACLASS:class}\:%{NUMBER:javaline}\] %{GREEDYDATA:message}" }
      overwrite => [ "message" ]
    }
}
filter {
    date {
      match => [ "timestamp", ISO8601 ]
    }
}
output {
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "calendar7-%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    }
    stdout { codec => rubydebug }
}

Вчера запустила ./logstash -f calendar.conf, в Kibana появился нужный индекс, логи обновлялись корректно. Сегодня в Kibana пусто, то есть вчерашний индекс есть, сегодняшнего нет, логов соответственно тоже. Запустила еще раз ./logstash -f calendar.conf - индекс появился, логи вижу. Помогите, пожалуйста, разобраться, в чем проблема? Спасибо!

[Igor_Motov]

Может logstash за ночь упал и не пере-стартовал. Что в логах logstash видно?

[uliana_andreeva]

спасибо за ответ. да, вы правы! он упал с ошибкой:

[2018-01-16T19:15:04,074][FATAL][logstash.runner] An unexpected error occurred! {:error=>#<SystemCallError: Unknown error (SystemCallError) - >, :backtrace=>["org/jruby/RubyIO.java:1457:in write'", "org/jruby/RubyIO.java:1428:inwrite'", "/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-output-stdout-3.1.3/lib/logstash/outputs/stdout.rb:44:in block in multi_receive_encoded'", "org/jruby/RubyArray.java:1734:ineach'", "/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-output-stdout-3.1.3/lib/logstash/outputs/stdout.rb:43:in multi_receive_encoded'", "/usr/share/logstash/logstash-core/lib/logstash/outputs/base.rb:90:inmulti_receive'", "/usr/share/logstash/logstash-core/lib/logstash/output_delegator_strategies/single.rb:15:in block in multi_receive'", "org/jruby/ext/thread/Mutex.java:148:insynchronize'", "/usr/share/logstash/logstash-core/lib/logstash/output_delegator_strategies/single.rb:14:in multi_receive'", "/usr/share/logstash/logstash-core/lib/logstash/output_delegator.rb:50:inmulti_receive'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:487:in block in output_batch'", "org/jruby/RubyHash.java:1343:ineach'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:486:in output_batch'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:438:inworker_loop'", "/usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:393:in `block in start_workers'"]}

отключила вывод stdout { codec => rubydebug }, посмотрю, что будет дальше