Поиск нераспарсенных логов

[vladimirzn (Vladimir)]

Добрый день!

Есть ли способ найти логи, которые не получилось распарсить в ELK (warning вида "could not index event to elasticsearch - failed to parse"), имея имя индекса и id объекта?
Пробовал делать с помощью GET index/_search { " query": {"terms": {"_id": [ "id"] ..., но таким образом можно получить лишь общую информацию, что объект существует.
Когда фильтров много, порой сложно определить, где именно (в каком логе) искать ошибку

[Igor_Motov]

@vladimirzn

could not index event to elasticsearch - failed to parse

Это значит, что этот документ не был индексирован в elasticsearch (скорее всего из-за несовместимого маппинга). Если что-то не было добавлено в индекс, то найти эту запись в индексе не возможно, так как ее там нет. Я бы начал с анализа логов logstash.

[vladimirzn (Vladimir)]

К примеру, ошибка из лога logstash - "object field starting or ending with a [.] makes object resolution ambigiouts: [.name]"
Таких полей в фильтрах нет, где же искать проблему непонятно. Вместо "[.name]" может быть "[.TypeName]" и т.д.

[Igor_Motov]

@vladimirzn

где же искать проблему непонятно

В этом случае можно dead letter queue настроить, все что не будет индексироваться, должно туда свалиться.