Auditbeat обновление document_id

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день!
Отправляю логи auditbeat в elasticserch через logstash.
В logstash output добавил параметр document_id для обновления id документа в elasticserch:

  if "xml" in [tags] {
    elasticsearch {
      hosts => [ "localhost:9200" ]
      index => "GT"
      user => user
      password => password
      document_id => "%{[agent][id]}"
      doc_as_upsert => true
      action => "update"
    }
  }
}

На выходе в elasticserch я получаю только один документ _id которого не изменяется, но изменяется содержимое документа, хотя ожидалось, что документов будет = количеству логов с уникальным _id:

 "hits" : {
    "total" : {
      **"value" : 1,**
      "relation" : "eq"
    },
    "max_score" : 7.95197E-5,
    "hits" : [
      {
        "_index" : "GT",
        "_type" : "_doc",
        **"_id" : "r8584d681-dd18-4523-a929-c77c04bc62c5",**
        "_score" : 7.95197E-5,
        "_source" : {
          "tags" : [
            "xml",
           ...

Мой конфиг auditbeat:

auditbeat.modules:
- module: file_integrity
  paths:
  - C:/xml_logs/GT/xml/
  scan_at_start: true
  recursive: true
setup.template.settings:
  index.number_of_shards: 1

tags: ["xml"]

output.logstash:
  hosts: ["10.1.1.4:5044"]

processors:
  - drop_fields:
     fields: ["log_type", "input_type", "offset", "beat", "source"]
  - add_id: ~

logging:
  to_files: true
  files:
    path: C:/ProgramData/auditbeat/Logs
  level: debug

Как мне получить в elasticserch все логи auditbeat в разных документах с уникальным _id?

2 
document_id => "%{[agent][id]}"

Этот параметр на самом деле рабочий, я взял в качестве id не то поле, оно было не уникально. Когда я изменил поле на другое, все заработало как ожидалось

3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.