# Beatsで収集したログをそのままlogstashに送信できない

**URL:** <https://discuss.elastic.co/t/beats-logstash/297840>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [February 22, 2022, 5:40am UTC](https://discuss.elastic.co/t/beats-logstash/297840 "2022-02-22T05:40:44Z")\
**Posts on this page:** 8\
**Page:** 1

<div class="post-metadata">

**Author:** ![gou\_gemma](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gou_gemma/32/102109_2.png) [@gou\_gemma](https://discuss.elastic.co/u/gou_gemma)\
**Post date:** [February 22, 2022, 5:40am UTC](https://discuss.elastic.co/t/beats-logstash/297840/1 "2022-02-22T05:40:44Z")

</div>

filebeat,winlogbeatで収集したログを、logstashがインストールされているログ管理サーバに送信して、ログの管理を行いたいです。

filebeat,winlogbeatで収集したログを、logstashに受信できたと思ったのですが、生ログではなく、ログの情報（該当ログファイルのパス、ログファイルの作成日時等）が送られてきます。

filebeat,winlogbeatで収集したログを、生ログのままlogstashに受信するにはどのような設定をすれば良いのでしょうか？

宜しくお願い致します。

---

<div class="post-metadata">

**Author:** ![gou\_gemma](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gou_gemma/32/102109_2.png) [@gou\_gemma](https://discuss.elastic.co/u/gou_gemma)\
**Post date:** [February 22, 2022, 7:52am UTC](https://discuss.elastic.co/t/beats-logstash/297840/2 "2022-02-22T07:52:34Z")

</div>

なお、生ログを整形されないよう以processorsは全てコメントアウトしています。

```auto
# ================================= Processors =================================
#processors:
# - add_host_metadata:
# when.not.contains.tags: forwarded
# - add_cloud_metadata: ~
# - add_docker_metadata: ~
# - add_kubernetes_metadata: ~

```

---

<div class="post-metadata">

**Author:** ![tsgkdt](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/tsgkdt/32/39151_2.png) [@tsgkdt](https://discuss.elastic.co/u/tsgkdt)\
**Post date:** [February 22, 2022, 1:13pm UTC](https://discuss.elastic.co/t/beats-logstash/297840/3 "2022-02-22T13:13:48Z")

</div>

余計なメタデータのフィールドが邪魔ということでしたら、こちらの投稿が参考になるのではないでしょうか。

> [@How do you remove (or not send) metadata from filebeat to logstash?](https://discuss.elastic.co/t/how-do-you-remove-or-not-send-metadata-from-filebeat-to-logstash/201090/2):
>
> You can do it with processors ([https://www.elastic.co/guide/en/beats/filebeat/current/drop-fields.html](https://www.elastic.co/guide/en/beats/filebeat/current/drop-fields.html)). Also you can comment out the add\_host\_metadata (see below) option. processors: - drop\_fields: fields: ["ecs.version", "agent.version", "agent.type", "agent.id", "agent.hostname", "input.type"] # - add\_host\_metadata: ~ # - add\_cloud\_metadata: ~

---

<div class="post-metadata">

**Author:** ![gou\_gemma](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gou_gemma/32/102109_2.png) [@gou\_gemma](https://discuss.elastic.co/u/gou_gemma)\
**Post date:** [February 23, 2022, 2:03am UTC](https://discuss.elastic.co/t/beats-logstash/297840/4 "2022-02-23T02:03:29Z")

</div>

ご返信ありがとうございます。

参考にさせて頂き、"message"以外の情報をdropする設定をしましたが、出力結果は全く変わらなかったです。

```auto
processors:
   -drop_fields:
      fields: ["@timestamp", "tags", "log.file.path", "offset","input.type","host.name","ecs.version","type","agent.name.id.ephemeral_id.version.hostname.type","@version"]
# - add_host_metadata:
# when.not.contains.tags: forwarded
# - add_cloud_metadata: ~
# - add_docker_metadata: ~
# - add_kubernetes_metadata: ~

```

filebeat test configでOKと出てるので、confに問題はなさそうです。  
他に問題ありそうな箇所、もしくは他の対策ご存じでしたらご教示願います💦

宜しくお願い致します。

---

<div class="post-metadata">

**Author:** ![gou\_gemma](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gou_gemma/32/102109_2.png) [@gou\_gemma](https://discuss.elastic.co/u/gou_gemma)\
**Post date:** [February 23, 2022, 3:05am UTC](https://discuss.elastic.co/t/beats-logstash/297840/5 "2022-02-23T03:05:00Z")

</div>

logstash.confの内容を以下のように指定した結果、余計なフィールドの削除ができました。

```auto
filter {
  mutate {
    remove_field => ["@timestamp","log","host","agent", "offset","input","type","ecs","@version"]
 }
}

```

しかし、出力すると、フィールド名（"message"）や{}が入ってしまいます。  
また、tagsも不要なのですが、複数ファイルの受信をして、tagsでif文を作成して振り分けをしているため、情報として必要ではあります。ただ、出力結果には不要なんです・・。  
filterした後で、フィールド名や、tagsによる振り分け後にtagsを削除する方法をご存じでしたらご教示願います💦

```auto
出力結果は以下
{"message":"Feb 23 11:56:33 rhel8 logstash[10927]: OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.","tags":["messages","beats_input_codec_plain_applied"]}

outputのif文は以下
output {
  if "filebeat" in [tags] {
    file {
    path => "/var/tmp/logstash/localhost1/filebeat.log"
     }
  }
  else if "secure" in [tags] {
     file {
      path => "/var/tmp/logstash/localhost1/secure.log"
   }
}
  else if "messages" in [tags] {
     file {
      path => "/var/tmp/logstash/localhost1/messages.log"
   }
}

```

---

<div class="post-metadata">

**Author:** ![Tomo\_M](https://avatars.discourse-cdn.com/v4/letter/t/848f3c/32.png) [@Tomo\_M](https://discuss.elastic.co/u/Tomo_M)\
**Post date:** [February 27, 2022, 12:52am UTC](https://discuss.elastic.co/t/beats-logstash/297840/6 "2022-02-27T00:52:41Z")

</div>

複数のファイルを読み取って if 文で振り分けているのであれば、ファイルごとにpipelineを作ってタグなど全て削除した上でoutputしたほうがシンプルかもしれません。

振り分けに使ったtagをoutput前に削除するのは難しそうです。

> <https://stackoverflow.com/questions/66810176/filter-per-output-in-multiple-hosts-in-output-plugin-logstash>

codecで出力フィールドと、そのフォーマットを指定する手はありそうです（これならパイプラインひとつでいいですね）。

> **[File output plugin | Logstash Reference \[8.0\] | Elastic](https://www.elastic.co/guide/en/logstash/current/plugins-outputs-file.html#_description_71)**

---

<div class="post-metadata">

**Author:** ![gou\_gemma](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gou_gemma/32/102109_2.png) [@gou\_gemma](https://discuss.elastic.co/u/gou_gemma)\
**Post date:** [February 28, 2022, 4:48am UTC](https://discuss.elastic.co/t/beats-logstash/297840/7 "2022-02-28T04:48:51Z")

</div>

ご返信ありがとうございます。

tagをアウトプット前に削除するのは難しそうですよね・・・。

後者のやり方も良さそうですね。実機で検証してみます。

ご丁寧な返信ありがとうございました。  
助かりました。

宜しくお願い致します。

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [March 28, 2022, 4:49am UTC](https://discuss.elastic.co/t/beats-logstash/297840/8 "2022-03-28T04:49:44Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.