# Filebeat выдает ошибки при попытке отправить логи на Logstash

**URL:** <https://discuss.elastic.co/t/filebeat-logstash/86498>\
**Category:** Вопросы на русском языке\
**Created:** [May 19, 2017, 11:28pm UTC](https://discuss.elastic.co/t/filebeat-logstash/86498 "2017-05-19T23:28:24Z")\
**Posts on this page:** 10\
**Page:** 1

<div class="post-metadata">

**Author:** ![Bob04](https://avatars.discourse-cdn.com/v4/letter/b/3d9bf3/32.png) [@Bob04](https://discuss.elastic.co/u/Bob04)\
**Post date:** [May 19, 2017, 11:28pm UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/1 "2017-05-19T23:28:24Z")

</div>

Кто-нибудь сталкивался с похожей проблемой:

Filebeat выдает ошибки при попытке отправить логи на Logstash:

```
2017-05-19T18:14:25-05:00 INFO Non-zero metrics in the last 30s: libbeat.logstash.publish.read_bytes=140 libbeat.logstash.publish.write_bytes=18393
2017-05-19T18:14:37-05:00 ERR Failed to publish events caused by: read tcp ... :60141->... :5044: i/o timeout
2017-05-19T18:14:37-05:00 INFO Error publishing events (retrying): read tcp ... :60141->... :5044: i/o timeout

```

Но, похоже, логи все-равно отправляются на Logstash.

filebeat.yml

```
filebeat.prospectors:

- input_type: log
  paths:
    - /var/log/app1.log

registry_file: /var/lib/filebeat/registry

output.logstash:
  hosts: ["ip_address:5044"]
  ssl.certificate_authorities: ["/etc/ssl/certs/logstash-forwarder.crt"]

```

logstash.conf:

```
input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/usr/share/logstash/ssl/logstash-forwarder.crt"
    ssl_key => "/usr/share/logstash/ssl/logstash-forwarder.key"
  }
}

output {
  elasticsearch {
    hosts => "elasticsearch:9200"
  }
}

```

В чем может быть проблема?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [May 20, 2017, 2:44am UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/2 "2017-05-20T02:44:01Z")

</div>

> [@Bob04](#):
>
> Кто-нибудь сталкивался с похожей проблемой

Да, и много раз [Search results for 'Failed to publish events caused by: read tcp' - Discuss the Elastic Stack](https://discuss.elastic.co/search?q=Failed%20to%20publish%20events%20caused%20by%3A%20read%20tcp)

---

<div class="post-metadata">

**Author:** ![Bob04](https://avatars.discourse-cdn.com/v4/letter/b/3d9bf3/32.png) [@Bob04](https://discuss.elastic.co/u/Bob04)\
**Post date:** [May 20, 2017, 3:55am UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/3 "2017-05-20T03:55:04Z")

</div>

Благодарю.

Я немного изменил конфигурацию, чтобы Filebeat посылал логи не напрямую на Logstash, а через Kafka. Но в этом случае Logstash постоянно получает новые сообщения от Kafka, даже если новые логи не поступают в Kafka.  
Events received, Events emitted значения для Logstash постоянно растут.

Не могли бы подсказать, в чем проблема?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [May 20, 2017, 6:24pm UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/4 "2017-05-20T18:24:29Z")

</div>

А вы напрямую filebeat с elasticsearch соединять не пробовали?

---

<div class="post-metadata">

**Author:** ![Bob04](https://avatars.discourse-cdn.com/v4/letter/b/3d9bf3/32.png) [@Bob04](https://discuss.elastic.co/u/Bob04)\
**Post date:** [May 21, 2017, 4:53am UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/5 "2017-05-21T04:53:22Z")

</div>

Напрямую соединять пробывал и все работало отлично. Но с Kafka возникают проблемы с появлением новых сообщений. Причём эти новые сообщения не отображаются даже в Kibana Discover, хотя Monitoring показывает, что число сообщений в Logstash постоянно растёт.

---

<div class="post-metadata">

**Author:** ![Bob04](https://avatars.discourse-cdn.com/v4/letter/b/3d9bf3/32.png) [@Bob04](https://discuss.elastic.co/u/Bob04)\
**Post date:** [May 21, 2017, 10:17pm UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/6 "2017-05-21T22:17:08Z")

</div>

Кстати, насчет исходного вопроса про Filebeat:

Filebeat выдает ошибки `ERR Failed to publish events` , но логи все же отправляются на Logstash.

```
2017-05-21T16:39:21-05:00 ERR Failed to publish events caused by: read tcp ...->...:5044: i/o timeout
2017-05-21T16:39:21-05:00 INFO Error publishing events (retrying): read tcp ...->...:5044: i/o timeout

```

Это допустимо?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [May 22, 2017, 1:47pm UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/7 "2017-05-22T13:47:54Z")

</div>

> [@Bob04](#):
>
> число сообщений в Logstash постоянно растёт

А вы не смотрели, что это за сообщения? Может заменить elasticsearch на `stdout` output и посмотреть, что это за сообщения такие.

> [@Bob04](#):
>
> Кстати, насчет исходного вопроса про Filebeat:

Существует много различных причин для этих сообщений, и этот вопрос обсуждался много раз. Посмотрите ссылку, в первом сообщении. Если у вас уникальная ситуация, которая еще не обсуждалась - то опишите ее, пожалуйста, более подробно.

---

<div class="post-metadata">

**Author:** ![Bob04](https://avatars.discourse-cdn.com/v4/letter/b/3d9bf3/32.png) [@Bob04](https://discuss.elastic.co/u/Bob04)\
**Post date:** [May 24, 2017, 12:21am UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/8 "2017-05-24T00:21:07Z")

</div>

> [@Igor\_Motov](#):
>
> А вы не смотрели, что это за сообщения? Может заменить elasticsearch на stdout output и посмотреть, что это за сообщения такие.

Оказалось, это логи за предыдущие дни. Очень странно, поскольку consumer lag равен 0, а сообщения начинают приходить на Logstash сразу же после его запуска.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [May 24, 2017, 1:28am UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/9 "2017-05-24T01:28:54Z")

</div>

Может, у вас еще где-нибудь процесс запущен, который без остановки старые логи в кафку пихает?

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [June 21, 2017, 1:28am UTC](https://discuss.elastic.co/t/filebeat-logstash/86498/10 "2017-06-21T01:28:54Z")

</div>

Closed on June 21, 2017, 1:28am UTC

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.