Доброго времени суток. Пытаюсь отчистить индекс от дубликатов, используя fingerprint (id в индексе нет), чтобы наполнить другой индекс чистыми данными:
Конфиг logstash такой:
input {
elasticsearch {
hosts => ["https://xxx.xxx.xxx.xxx"]
index => "index1"
user=>"user"
password=>"password"
cacert=>"path to cert"
}
}
filter {
fingerprint {
method => "SHA256"
source => ["field1", "field2", "field3"]
target => "[@metadata][generated_id]"
}
}
output {
elasticsearch {
hosts => ["https://xxx.xxx.xxx.xxx"]
index => "index2"
user=>"user"
password=>"password"
cacert=>"path to cert"
document_id => "%{[@metadata][generated_id]}"
}
}
Но logstash выдаёт unexpected java error..Logstash версии 7.6, ES версии 8.5
Прошу помочь