# Filebeat утекает память

**URL:** https://discuss.elastic.co/t/filebeat/291510
**Category:** Вопросы на русском языке
**Created:** [December 11, 2021, 3:50pm UTC](https://discuss.elastic.co/t/filebeat/291510 "2021-12-11T15:50:22Z")
**Posts on this page:** 2
**Page:** 1

<div class="post-metadata">

### Author: ![cva](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/cva/32/85514_2.png) [@cva](https://discuss.elastic.co/u/cva)
#### Post date: [December 11, 2021, 3:50pm UTC](https://discuss.elastic.co/t/filebeat/291510/1 "2021-12-11T15:50:22Z")

</div>

На ВМке имеется примерно около 100 000 лог файлов, характеристики ВМ OS Windows Server 2019, CPU 4, ОЗУ 4Гб. Для сбора логов и последующей их отправки в logstash используется filebeat 7.16.0. После запуска filebeat начинает расходовать память ОЗУ до максимума, в итоге служба filebeat останавливается, сбор логов заканчивается ошибкой:

```auto
ERROR	[logstash]	logstash/async.go:280	Failed to publish events caused by: write tcp 10.0.10.5:53536->10.0.10.6:5044: wsasend: An existing connection was forcibly closed by the remote host.
panic: reflect.Select: too many cases (max 65536)

```

Мой конфиг filebeat:

```auto
filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - C:\logs\GT\xml\*\*.log
  fields_under_root: true
  fields:
    system: xml
    subsystem: GT  
  parsers:
    - multiline:
        type: pattern
        pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
        negate: true
        match: after

- type: filestream
  paths:
    - C:\logs\ERRORS\xml\*\*.log
  fields_under_root: true
  fields:
    system: xml
    subsystem: errors
  parsers:
    - multiline:
        type: pattern
        pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
        negate: true
        match: after

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1
  
tags: [xmlgate]

output.logstash:
  hosts: ["10.0.10.6:5044"]
  template.name: "xmlgate"
  template.path: "filebeat.template.json"
  template.overwrite: false

logging.metrics.enabled: false

```

Пробовал использовать параметры queue.mem: events: 2048 - 32; flush.min\_events: 2048 - 16; flush.timeout: 10-2s - результата не дало.  
Какие параметры могут помочь уменьшить потребление памяти ОЗУ filebeatом при обработке такого количества уже имеющихся лог файлов на диске (~100 000) + новых лог файлов (~20 в мин)?

---

<div class="post-metadata">

### Author: ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)
#### Post date: [January 8, 2022, 3:50pm UTC](https://discuss.elastic.co/t/filebeat/291510/2 "2022-01-08T15:50:28Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.