Filebeat выдает ошибки при попытке отправить логи на Logstash


(Bob04) #1

Кто-нибудь сталкивался с похожей проблемой:

Filebeat выдает ошибки при попытке отправить логи на Logstash:

2017-05-19T18:14:25-05:00 INFO Non-zero metrics in the last 30s: libbeat.logstash.publish.read_bytes=140 libbeat.logstash.publish.write_bytes=18393
2017-05-19T18:14:37-05:00 ERR Failed to publish events caused by: read tcp ... :60141->... :5044: i/o timeout
2017-05-19T18:14:37-05:00 INFO Error publishing events (retrying): read tcp ... :60141->... :5044: i/o timeout

Но, похоже, логи все-равно отправляются на Logstash.

filebeat.yml

filebeat.prospectors:

- input_type: log
  paths:
    - /var/log/app1.log

registry_file: /var/lib/filebeat/registry

output.logstash:
  hosts: ["ip_address:5044"]
  ssl.certificate_authorities: ["/etc/ssl/certs/logstash-forwarder.crt"]

logstash.conf:

input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/usr/share/logstash/ssl/logstash-forwarder.crt"
    ssl_key => "/usr/share/logstash/ssl/logstash-forwarder.key"
  }
}

output {
  elasticsearch {
    hosts => "elasticsearch:9200"
  }
}

В чем может быть проблема?


(Igor Motov) #2

Да, и много раз https://discuss.elastic.co/search?q=Failed%20to%20publish%20events%20caused%20by%3A%20read%20tcp


(Bob04) #3

Благодарю.

Я немного изменил конфигурацию, чтобы Filebeat посылал логи не напрямую на Logstash, а через Kafka. Но в этом случае Logstash постоянно получает новые сообщения от Kafka, даже если новые логи не поступают в Kafka.
Events received, Events emitted значения для Logstash постоянно растут.

Не могли бы подсказать, в чем проблема?


(Igor Motov) #4

А вы напрямую filebeat с elasticsearch соединять не пробовали?


(Bob04) #5

Напрямую соединять пробывал и все работало отлично. Но с Kafka возникают проблемы с появлением новых сообщений. Причём эти новые сообщения не отображаются даже в Kibana Discover, хотя Monitoring показывает, что число сообщений в Logstash постоянно растёт.


(Bob04) #6

Кстати, насчет исходного вопроса про Filebeat:

Filebeat выдает ошибки ERR Failed to publish events , но логи все же отправляются на Logstash.

2017-05-21T16:39:21-05:00 ERR Failed to publish events caused by: read tcp ...->...:5044: i/o timeout
2017-05-21T16:39:21-05:00 INFO Error publishing events (retrying): read tcp ...->...:5044: i/o timeout

Это допустимо?


(Igor Motov) #7

А вы не смотрели, что это за сообщения? Может заменить elasticsearch на stdout output и посмотреть, что это за сообщения такие.

Существует много различных причин для этих сообщений, и этот вопрос обсуждался много раз. Посмотрите ссылку, в первом сообщении. Если у вас уникальная ситуация, которая еще не обсуждалась - то опишите ее, пожалуйста, более подробно.


(Bob04) #8

Оказалось, это логи за предыдущие дни. Очень странно, поскольку consumer lag равен 0, а сообщения начинают приходить на Logstash сразу же после его запуска.


(Igor Motov) #9

Может, у вас еще где-нибудь процесс запущен, который без остановки старые логи в кафку пихает?


(system) #10

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.