Добрый день!
Уже несколько раз после обновления всего кластера до новой версии и обновлением битсов до той же версии кластера сталкивался с тем, что битсы не могут установить соединение с logstash.
Более детальное описание проблемы.
изначально была установлена версия ELK 6.1.1 и установлены на клиентские ПК winlogbeat и metricbeat версии 6.1.1. После этого обновлялся до актуальной версии только ELK. Клиентские битсы не обновлялись.
На сегодняшний момент имеем ELK 6.3.2 и битсы версии 6.1.1. Все работает отлично. Логи и метрика собираются.
На тестовом ПК обновил битсы до 6.3.2 и с этого ПК перестали идти логи и метрика на сервер. В логах метрикбита пишет:
> 2018-08-13T10:02:16.261+0300 ERROR pipeline/output.go:74 Failed to connect: dial tcp xx.xx.xx.xx:5044: connectex: No connection could be made because the target machine actively refused it.
> 2018-08-13T10:02:16.261+0300 INFO [publish] pipeline/retry.go:172 retryer: send unwait-signal to consumer
> 2018-08-13T10:02:16.261+0300 INFO [publish] pipeline/retry.go:174 done
> 2018-08-13T10:02:16.261+0300 INFO [publish] pipeline/retry.go:149 retryer: send wait signal to consumer
> 2018-08-13T10:02:16.261+0300 INFO [publish] pipeline/retry.go:151 done
> 2018-08-13T10:02:19.900+0300 INFO cfgfile/reload.go:142 Dynamic config reloader stopped
> 2018-08-13T10:02:20.564+0300 INFO [monitoring] log/log.go:132 Total non-zero metrics {"monitoring": {"metrics": {"beat":{"cpu":{"system":{"ticks":2106,"time":{"ms":2106}},"total":{"ticks":4180,"time":{"ms":4180},"value":4180},"user":{"ticks":2074,"time":{"ms":2074}}},"info":{"ephemeral_id":"70acebd1-d325-4379-a575-a53d1175b3ae","uptime":{"ms":2150330}},"memstats":{"gc_next":34815920,"memory_alloc":18295320,"memory_total":58836216,"rss":47407104}},"libbeat":{"config":{"module":{"running":3,"starts":3},"reloads":7},"output":{"type":"logstash"},"pipeline":{"clients":3,"events":{"active":4119,"failed":50,"published":4116,"retry":974,"total":4169}}},"metricbeat":{"system":{"cpu":{"events":63,"success":65},"filesystem":{"events":50,"success":52},"fsstat":{"events":51,"success":53},"memory":{"events":63,"success":65},"network":{"events":311,"success":321},"process":{"events":3505,"success":3599},"process_summary":{"events":64,"success":65},"uptime":{"events":65,"success":67}}},"system":{"cpu":{"cores":4}}}}}
В логах Винлогбита
> 2018-08-13T10:14:37.159+0300 ERROR pipeline/output.go:74 Failed to connect: dial tcp хх.хх.хх.хх:5044: connectex: No connection could be made because the target machine actively refused it.
> 2018-08-13T10:14:37.159+0300 INFO [publish] pipeline/retry.go:172 retryer: send unwait-signal to consumer
> 2018-08-13T10:14:37.159+0300 INFO [publish] pipeline/retry.go:174 done
> 2018-08-13T10:14:37.159+0300 INFO [publish] pipeline/retry.go:149 retryer: send wait signal to consumer
> 2018-08-13T10:14:37.159+0300 INFO [publish] pipeline/retry.go:151 done
На тестовом сервере после удаления всех старых индексов, новые начали создаваться без проблем.
Как заставить работать 6.1.1 и 6.3.2 без удаления 6.1.1?