Добрый день!
Отправляю логи auditbeat в elasticserch через logstash.
В logstash output добавил параметр document_id для обновления id документа в elasticserch:
if "xml" in [tags] {
elasticsearch {
hosts => [ "localhost:9200" ]
index => "GT"
user => user
password => password
document_id => "%{[agent][id]}"
doc_as_upsert => true
action => "update"
}
}
}
На выходе в elasticserch я получаю только один документ _id которого не изменяется, но изменяется содержимое документа, хотя ожидалось, что документов будет = количеству логов с уникальным _id:
"hits" : {
"total" : {
**"value" : 1,**
"relation" : "eq"
},
"max_score" : 7.95197E-5,
"hits" : [
{
"_index" : "GT",
"_type" : "_doc",
**"_id" : "r8584d681-dd18-4523-a929-c77c04bc62c5",**
"_score" : 7.95197E-5,
"_source" : {
"tags" : [
"xml",
...
Мой конфиг auditbeat:
auditbeat.modules:
- module: file_integrity
paths:
- C:/xml_logs/GT/xml/
scan_at_start: true
recursive: true
setup.template.settings:
index.number_of_shards: 1
tags: ["xml"]
output.logstash:
hosts: ["10.1.1.4:5044"]
processors:
- drop_fields:
fields: ["log_type", "input_type", "offset", "beat", "source"]
- add_id: ~
logging:
to_files: true
files:
path: C:/ProgramData/auditbeat/Logs
level: debug
Как мне получить в elasticserch все логи auditbeat в разных документах с уникальным _id?