FilebeatとLogstashのログ転送再開方法について

<構成>
filebeatを利用して複数台からログ収集しています。
filebeat×約10台 => logstash => elasticsearch
logstash 6.4.2
filebeat 6.4.2

<事象>
filebeat導入サーバで大量ログ出力後に、logstashログ収集が停止しました。
※大量ログ出力したサーバ以外からのログもlogstash側への取込みが停止

<現在までの対応>
filebeat/logstashにもエラー原因となるようなログ出力が見えないため、以下を実施

  1. ファイルシステム確認
    → 50%以上の余裕があり問題無し。
  2. logstash 再起動
    → 解決しない。停止したまま
  3. filebeat 再起動
    → 解決しない。停止したまま
  4. filebeat registry 削除
    → 解決しない。停止したまま
    https://stackoverflow.com/questions/41703689/how-do-i-force-rebuild-logs-data-in-filebeat-5/46309908
  5. logstash OS再起動
    → 解決しない。停止したまま
  6. elastichsearch再起動
    → 解決しない。停止したまま

<やりたいこと>
ログ収集の再開のために、何をすればよいのかを教えていただけないでしょうか。

<参考:logstash設定>
バージョン
# /usr/share/logstash/bin/logstash --version
logstash 6.4.2
# cat /proc/version
Linux version 3.10.0-957.27.2.el7.x86_64 (mockbuild@x86-040.build.eng.bos.redhat.com) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Tue Jul 9 16:53:14 UTC 2019
#
コンフィグ
# grep -v '^\s*\|^\s*\#' /etc/logstash/logstash.yml log.level: warn path.logs: /var/log/logstash \# grep -v '^\s*|^\s*#' /etc/logstash/pipelines.yml

  • pipeline.id: main
    path.config: "/etc/logstash/conf.d/.conf"
    # grep -v '^\s
    \|^\s*\#' /etc/logstash/startup.options LS_HOME=/usr/share/logstash LS_SETTINGS_DIR=/etc/logstash LS_OPTS="--path.settings {LS_SETTINGS_DIR}"
    LS_JAVA_OPTS=""
    LS_PIDFILE=/var/run/logstash.pid
    LS_USER=logstash
    LS_GROUP=logstash
    LS_GC_LOG_FILE=/var/log/logstash/gc.log
    LS_OPEN_FILES=16384
    LS_NICE=19
    SERVICE_NAME="logstash"
    SERVICE_DESCRIPTION="logstash"
    サンプル1つ
    # grep -v '^\s*\|^\s*\#' /etc/logstash/conf.d/rhel.conf filter { if "rhel" in [tags] { grok { match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} (?<hostname>[0-9A-Z]{8}) %{GREEDYDATA:FACILITY}\.(?<PRIORITY>debug|info|notice|warning|err|crit|alert|emerg)\: (?<category>.+?\:%{SPACE}) %{GREEDYDATA:messages}" } } grok { match => { "source" => "/var/log/%{DATA:filename}"}
    }
    }
    }
    output {
    if "rhel" in [tags] {
    file {
    path => "/backup/%{[host][name]}/rhel/%{+YYYYMMdd}/%{filename}"
    codec => line { format => "%{message}"}
    }
    elasticsearch {
    ssl => true
    cacert => '/etc/logstash/elasticsearch.crt'
    hosts => ["https://172.16.215.101:9200"]
    index => "rhel-%{+YYYY.MM.dd}"
    }
    }
    }
    #

<参考:filebeat設定>
バージョン
# filebeat version
filebeat version 6.4.2 (amd64), libbeat 6.4.2 [e193f6d68b25b7ddbe3a3ed8d60bc07fea1ef800 built 2018-09-26 12:42:46 +0000 UTC]
# cat /proc/version
Linux version 3.10.0-957.el7.x86_64 (mockbuild@x86-040.build.eng.bos.redhat.com) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Thu Oct 4 20:48:51 UTC 2018
#
コンフィグ
# grep -v '^\s*\|^\s*\#' /etc/filebeat/filebeat.yml filebeat.config.prospectors: enabled: true path: /etc/filebeat/conf.d/*.yml filebeat.config.modules: path: {path.config}/modules.d/.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
output.logstash:
hosts: ["172.16.215.100:5044"]
ssl.certificate_authorities: ["/etc/pki/tls/certs/logstash.crt"]
ssl.certificate: "/etc/pki/tls/certs/logstash.crt"
ssl.key: "/etc/pki/tls/certs/logstash.key.p8"
ssl.supported_protocols: [TLSv1.2]
logging.metrics.enabled: false
#
サンプル1つ
# grep -v '^\s
$|^\s*#' /etc/filebeat/conf.d/rhel.yml

  • paths:
    • /var/log/messages
      tags: ["rhel"]

以下を参考に、OSパラメータチューニングし、logstash再起動することでログ収集再開できました。