Problem with filebeat "failed to add target to root"

Elastic Stack Beats
1

Hello, I try to decode escaped_json using "decode_json_fields" processor. I want to add my extracted json fields to root. But in log I see this error:

 DEBUG   [processors]    processing/processors.go:128    Fail to apply processor global{decode_json_fields=message}: failed to add target to root

What it can mean?

My filebeat processors config looks like:

processors:
  - decode_json_fields:
      fields: ["message"]
      process_array: true
      target: ''
      max_depth: 200
      overwrite_keys: true

message looks like:

"message":"[{\"ecs\":{\"version\":\"1.8.0\"},\"rule\":{\"firedtimes\":275,\"pci_dss\":[\"10.2.5\"],\"gpg13\":[\"7.1\",\"7.2\"],\"nist_800_53\":[\"AU.14\",\"AC.7\"],\"hipaa\":[\"164.312.b\"],\"level\":3,\"mail\":false,\"id\":\"60106\",\"tsc\":[\"CC6.8\",\"CC7.2\",\"CC7.3\"],\"mitre\":{\"id\":[\"T1078\"],\"technique\":[\"ValidAccounts\"],\"tactic\":[\"Defense Evasion\",\"Initial Access\",\"Persistence\",\"Privilege Escalation\"]}]"
2

Could you please share a few original input lines? The line you shared seems invalid.

3 
{
    "@timestamp": "2021-07-21T11:38:41.272Z",
    "@metadata": {
        "beat": "filebeat",
        "type": "_doc",
        "version": "7.10.2"
    },
    "ecs": {
        "version": "1.6.0"
    },
    "host": {
        "name": "agent-name"
    },
    "agent": {
        "id": "1fcb7d6b-91c5-452d-8314-b9e0ace9e94f",
        "name": "agent-name",
        "type": "filebeat",
        "version": "7.10.2",
        "hostname": "agent-name",
        "ephemeral_id": "c576dcbb-c7c7-4b96-925c-8b28bfd5f3df"
    },
    "message": "[{\"ecs\":{\"version\":\"1.8.0\"},\"input\":{\"type\":\"log\"},\"tags\":[\" beats_input_codec_plain_applied \ "],\"@timestamp\":\"2021-07-21T11:37:00.867Z\",\"log\":{\"file\":{\"path\":\"/var/ossec/logs/archives/archives.json\"},\"offset\":1062524684},\"@version\":\"1\",\"message\":\"{\\\"timestamp\\\":\\\"2021-07-21T16:36:59.834+0500\\\",\\\"agent\\\":{\\\"id\\\":\\\"001\\\",\\\"name\\\":\\\"user\\\",\\\"ip\\\":\\\"100.100.100.100\\\"},\\\"manager\\\":{\\\"name\\\":\\\"manager-name\\\"},\\\"id\\\":\\\"1626867419.452833845\\\",\\\"full_log\\\":  \\  \ "{\\\\\\\"win\\\\\\\":{\\\\\\\"system\\\\\\\":{\\\\\\\"providerName\\\\\\\":\\\\\\\"Microsoft-Windows-Security-Auditing\\\\\\\",\\\\\\\"providerGuid\\\\\\\":\\\\\\\"{54849625-5478-4994-a5ba-3e3b0328c30d}\\\\\\\",\\\\\\\"eventID\\\\\\\":  \\  \\  \\  \ "4688\\\\\\\",\\\\\\\"version\\\\\\\":\\\\\\\"2\\\\\\\",\\\\\\\"level\\\\\\\":\\\\\\\"0\\\\\\\",\\\\\\\"task\\\\\\\":\\\\\\\"13312\\\\\\\",\\\\\\\"opcode\\\\\\\":\\\\\\\"0\\\\\\\",\\\\\\\"keywords\\\\\\\":\\\\\\\"0x8020000000000000\\\\\\\",\\\\\\\"systemTime\\\\\\\":\\\\\\\"2021-07-21T11:36:58.6411258Z\\\\\\\",\\\\\\\"eventRecordID\\\\\\\":\\\\\\\"158965\\\\\\\",\\\\\\\"processID\\\\\\\":\\\\\\\"4\\\\\\\",\\\\\\\"threadID\\\\\\\":\\\\\\\"14308\\\\\\\",\\\\\\\" channel \\  \\  \\  \ ":\\\\\\\"Security\\\\\\\",\\\\\\\"computer\\\\\\\":\\\\\\\"computer.name\\\\\\\",\\\\\\\"severityValue\\\\\\\":\\\\\\\"AUDIT_SUCCESS\\\\\\\",\\\\\\\"message\\\\\\\":\\\\\\\"\\\\\\\\\\\\\\\"Создан новый процесс.\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nСубъект-создатель:\\\\\\\\r\\\\\\\\n\\\\\\\\tИД безопасности:\\\\\\\\t\\\\\\\\tS-1-5-18\\\\\\\\r\\\\\\\\n\\\\\\\\tИмя учетной записи:\\\\\\\\t\\\\\\\\tuser$\\\\\\\\r\\\\\\\\n\\\\\\\\tДомен учетной записи:\\\\\\\\t\\\\\\\\tDOMAIN\\\\\\\\r\\\\\\\\n\\\\\\\\tИД входа:\\\\\\\\t\\\\\\\\t0x3E7\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nЦелевой субъект:\\\\\\\\r\\\\\\\\n\\\\\\\\tИД безопасности:\\\\\\\\t\\\\\\\\tS-1-5-21-4265324667-1587392013-2269490496-1118\\\\\\\\r\\\\\\\\n\\\\\\\\tИмя учетной записи:\\\\\\\\t\\\\\\\\ta.user\\\\\\\\r\\\\\\\\n\\\\\\\\tДомен учетной записи:\\\\\\\\t\\\\\\\\tDOMAIN\\\\\\\\r\\\\\\\\n\\\\\\\\tИД входа:\\\\\\\\t\\\\\\\\t0x4C55F2A\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nСведения о процессе:\\\\\\\\r\\\\\\\\n\\\\\\\\tИД нового процесса:\\\\\\\\t\\\\\\\\t0x2728\\\\\\\\r\\\\\\\\n\\\\\\\\tИмя нового процесса:\\\\\\\\tC:\\\\\\\\\\\\\\\\Windows\\\\\\\\\\\\\\\\System32\\\\\\\\\\\\\\\\dllhost.exe\\\\\\\\r\\\\\\\\n\\\\\\\\tТип повышения прав маркера:\\\\\\\\t%%1936\\\\\\\\r\\\\\\\\n\\\\\\\\tОбязательная метка:\\\\\\\\t\\\\\\\\tS-1-16-8192\\\\\\\\r\\\\\\\\n\\\\\\\\tИД процесса-создателя:\\\\\\\\t0x14c\\\\\\\\r\\\\\\\\n\\\\\\\\tИмя процесса-создателя:\\\\\\\\tC:\\\\\\\\\\\\\\\\Windows\\\\\\\\\\\\\\\\System32\\\\\\\\\\\\\\\\svchost.exe\\\\\\\\r\\\\\\\\n\\\\\\\\tКомандная строка процесса:\\\\\\\\tC:\\\\\\\\\\\\\\\\WINDOWS\\\\\\\\\\\\\\\\system32\\\\\\\\\\\\\\\\DllHost.exe /Processid:{AB8902B4-09CA-4BB6-B78D-A8F59079A8D5}\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nВ поле \\\\\\\\\\\\\\\"Тип повышения прав маркера\\\\\\\\\\\\\\\" указан тип маркера, назначенного новому процессу в соответствии с политикой управления учетными записями.\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nТип 1 соответствует полному маркеру без удаления привилегий и отключения групп. Полный маркер используется, только если управление учетными записями отключено либо пользователь имеет встроенную учетную запись \\\\\\\\\\\\\\\"Администратор\\\\\\\\\\\\\\\" или учетную запись службы.\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nТип 2 соответствует расширенному маркеру без удаления привилегий и отключения групп. Расширенный маркер используется, если управление учетными записями включено и пользователь запускает программу в качестве администратора. Кроме того, он применяется, если приложение настроено таким образом, что всегда требует привилегии администратора или максимальные привилегии, а пользователь состоит в группе администраторов.\\\\\\\\r\\\\\\\\n\\\\\\\\r\\\\\\\\nТип 3 соответствует ограниченному маркеру с удалением привилегий администратора и отключением групп администраторов. Ограниченный маркер используется, когда управление учетными записями включено, приложению не требуются привилегии администратора и пользователь не запускает программу в качестве администратора.\\\\\\\\\\\\\\\"\\\\\\\"},\\\\\\\"eventdata\\\\\\\":{\\\\\\\"subjectUserSid\\\\\\\":\\\\\\\"S-1-5-18\\\\\\\",\\\\\\\"subjectUserName\\\\\\\":\\\\\\\"user$\\\\\\\",\\\\\\\"subjectDomainName\\\\\\\":\\\\\\\"DOMAIN\\\\\\\",\\\\\\\"subjectLogonId\\\\\\\":\\\\\\\"0x3e7\\\\\\\",\\\\\\\"newProcessId\\\\\\\":\\\\\\\"0x2728\\\\\\\",\\\\\\\"newProcessName\\\\\\\":\\\\\\\"C:\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\Windows\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\System32\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\dllhost.exe\\\\\\\",\\\\\\\"tokenElevationType\\\\\\\":\\\\\\\"%%1936\\\\\\\",\\\\\\\"processId\\\\\\\":\\\\\\\"0x14c\\\\\\\",\\\\\\\"commandLine\\\\\\\":\\\\\\\"C:\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\WINDOWS\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\system32\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\DllHost.exe /Processid:{AB8902B4-09CA-4BB6-B78D-A8F59079A8D5}\\\\\\\",\\\\\\\"targetUserSid\\\\\\\":\\\\\\\"S-1-5-21-4265324667-1587392013-2269490496-1118\\\\\\\",\\\\\\\"targetUserName\\\\\\\":\\\\\\\"a.user\\\\\\\",\\\\\\\"targetDomainName\\\\\\\":\\\\\\\"DOMAIN\\\\\\\",\\\\\\\"targetLogonId\\\\\\\":\\\\\\\"0x4c55f2a\\\\\\\",\\\\\\\"parentProcessName\\\\\\\":\\\\\\\"C:\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\Windows\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\System32\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\svchost.exe\\\\\\\",\\\\\\\"mandatoryLabel\\\\\\\":\\\\\\\"S-1-16-8192\\\\\\\"}}}\\\",\\\"decoder\\\":{\\\"name\\\":\\\"windows_eventchannel\\\"},\\\"data\\\":{\\\"win\\\":{\\\"system\\\":{\\\"providerName\\\":\\\"Microsoft-Windows-Security-Auditing\\\",\\\"providerGuid\\\":\\\"{54849625-5478-4994-a5ba-3e3b0328c30d}\\\",\\\"eventID\\\":\\\"4688\\\",\\\"version\\\":\\\"2\\\",\\\"level\\\":\\\"0\\\",\\\"task\\\":\\\"13312\\\",\\\"opcode\\\":\\\"0\\\",\\\"keywords\\\":\\\"0x8020000000000000\\\",\\\"systemTime\\\":\\\"2021-07-21T11:36:58.6411258Z\\\",\\\"eventRecordID\\\":\\\"158965\\\",\\\"processID\\\":\\\"4\\\",\\\"threadID\\\":\\\"14308\\\",\\\"channel\\\":\\\"Security\\\",\\\"computer\\\":\\\"computer.name\\\",\\\"severityValue\\\":\\\"AUDIT_SUCCESS\\\",\\\"message\\\":\\\"\\\\\\\"Создан новый процесс.\\\\r\\\\n\\\\r\\\\nСубъект-создатель:\\\\r\\\\n\\\\tИД безопасности:\\\\t\\\\tS-1-5-18\\\\r\\\\n\\\\tИмя учетной записи:\\\\t\\\\tuser$\\\\r\\\\n\\\\tДомен учетной записи:\\\\t\\\\tDOMAIN\\\\r\\\\n\\\\tИД входа:\\\\t\\\\t0x3E7\\\\r\\\\n\\\\r\\\\nЦелевой субъект:\\\\r\\\\n\\\\tИД безопасности:\\\\t\\\\tS-1-5-21-4265324667-1587392013-2269490496-1118\\\\r\\\\n\\\\tИмя учетной записи:\\\\t\\\\ta.user\\\\r\\\\n\\\\tДомен учетной записи:\\\\t\\\\tDOMAIN\\\\r\\\\n\\\\tИД входа:\\\\t\\\\t0x4C55F2A\\\\r\\\\n\\\\r\\\\nСведения о процессе:\\\\r\\\\n\\\\tИД нового процесса:\\\\t\\\\t0x2728\\\\r\\\\n\\\\tИмя нового процесса:\\\\tC:\\\\\\\\Windows\\\\\\\\System32\\\\\\\\dllhost.exe\\\\r\\\\n\\\\tТип повышения прав маркера:\\\\t%%1936\\\\r\\\\n\\\\tОбязательная метка:\\\\t\\\\tS-1-16-8192\\\\r\\\\n\\\\tИД процесса-создателя:\\\\t0x14c\\\\r\\\\n\\\\tИмя процесса-создателя:\\\\tC:\\\\\\\\Windows\\\\\\\\System32\\\\\\\\svchost.exe\\\\r\\\\n\\\\tКомандная строка процесса:\\\\tC:\\\\\\\\WINDOWS\\\\\\\\system32\\\\\\\\DllHost.exe /Processid:{AB8902B4-09CA-4BB6-B78D-A8F59079A8D5}\\\\r\\\\n\\\\r\\\\nВ поле \\\\\\\"Тип повышения прав маркера\\\\\\\" указан тип маркера, назначенного новому процессу в соответствии с политикой управления учетными записями.\\\\r\\\\n\\\\r\\\\nТип 1 соответствует полному маркеру без удаления привилегий и отключения групп. Полный маркер используется, только если управление учетными записями отключено либо пользователь имеет встроенную учетную запись \\\\\\\"Администратор\\\\\\\" или учетную запись службы.\\\\r\\\\n\\\\r\\\\nТип 2 соответствует расширенному маркеру без удаления привилегий и отключения групп. Расширенный маркер используется, если управление учетными записями включено и пользователь запускает программу в качестве администратора.Кроме того, он применяется, если приложение настроено таким образом, что всегда требует привилегии администратора или максимальные привилегии, а пользователь состоит в группе администраторов.\\\\r\\\\n\\\\r\\\\nТип 3 соответствует ограниченному маркеру с удалением привилегий администратора и отключением групп администраторов. Ограниченный маркер используется, когда управление учетными записями включено, приложению не требуются привилегии администратора и пользователь незапускает программу в качестве администратора.\\\\\\\"\\\"},\\\"eventdata\\\":{\\\"subjectUserSid\\\":\\\"S-1-5-18\\\",\\\"subjectUserName\\\":\\\"user$\\\",\\\"subjectDomainName\\\":\\\"DOMAIN\\\",\\\"subjectLogonId\\\":\\\"0x3e7\\\",\\\"newProcessId\\\":\\\"0x2728\\\",\\\"newProcessName\\\":\\\"C:\\\\\\\\\\\\\\\\Windows\\\\\\\\\\\\\\\\System32\\\\\\\\\\\\\\\\dllhost.exe\\\",\\\"tokenElevationType\\\":\\\"%%1936\\\",\\\"processId\\\":\\\"0x14c\\\",\\\"commandLine\\\":\\\"C:\\\\\\\\\\\\\\\\WINDOWS\\\\\\\\\\\\\\\\system32\\\\\\\\\\\\\\\\DllHost.exe /Processid:{AB8902B4-09CA-4BB6-B78D-A8F59079A8D5}\\\",\\\"targetUserSid\\\":\\\"S-1-5-21-4265324667-1587392013-2269490496-1118\\\",\\\"targetUserName\\\":\\\" a.user \\  \ ",\\\"targetDomainName\\\":\\\"DOMAIN\\\",\\\"targetLogonId\\\":\\\"0x4c55f2a\\\",\\\"parentProcessName\\\":\\\"C:\\\\\\\\\\\\\\\\Windows\\\\\\\\\\\\\\\\System32\\\\\\\\\\\\\\\\svchost.exe\\\",\\\"mandatoryLabel\\\":\\\"S-1-16-8192\\\"}}},\\\"location\\\":\\\"EventChannel\\\"}\",\"event\":{\"module\":\"wazuh\",\"dataset\":\"wazuh.archives\"},\"service\":{\"type\":\"wazuh\"},\"fileset\":{\"name\":\"archives\"},\"agent\":{\"id\":\"f0eea4d8-ddd4-41f6-a400-993e1e159863\",\"version\":\"7.13.3\",\"hostname\":\"manager-name\",\"ephemeral_id\":\"9f0202d4-293f-488e-8ac0-2b228ee0bac3\",\"name\":\"manager-name\",\"type\":\"filebeat\"},\"host\":{\"name\":\"manager-name\"},\"fields\":{\"index_prefix\":\"wazuh-archives-4.x-\"}}]",
    "kafka": {
        "headers": [],
        "topic": "wazuh",
        "partition": 0,
        "offset": 366401,
        "key": "{\"client_id\":\"0\", \"datasource_ip\":\"\", \"datasource_hostname\":\"\", \"datasource_type\":\"\"}"
    },
    "input": {
        "type": "kafka"
    }
}
4

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.