Pipeline+geoip

Не могу сообразить, почему не обрабатывается geoip в pipeline.?

Есть стандартный filebeat-7.10.0-haproxy-log-pipeline

в нем присутствует geoip processorы

       "geoip" : {
          "field" : "source.ip",
          "target_field" : "source.geo",
          "ignore_missing" : true
        }
      }

выполняю симуляцию pipeline

POST _ingest/pipeline/filebeat-7.10.0-haproxy-log-pipeline/_simulate
{
  "docs": [
      { "_source": 
          { "message" : "Nov 16 16:15:24 localhost haproxy[95249]: 10.21.254.31:56351 [16/Nov/2020:16:15:24.149] rmq-tr-ampq rmq-tr-ampq/rmq-c-tr 1/0/19 594 -- 947/178/177/64/0 0/0"
          }
      }
    ]
}

Вывод:

{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "temp" : { },
          "process" : {
            "name" : "haproxy",
            "pid" : 95249
          },
          "@timestamp" : "2020-11-16T16:15:24.149Z",
          "related" : {
            "ip" : [
              "10.21.254.31"
            ]
          },
          "haproxy" : {
            "backend_queue" : 0,
            "server_name" : "rmq-c-tr",
            "total_waiting_time_ms" : 1,
            "termination_state" : "--",
            "connection_wait_time_ms" : 0,
            "backend_name" : "rmq-tr-ampq",
            "frontend_name" : "rmq-tr-ampq",
            "server_queue" : 0,
            "bytes_read" : 594,
            "source" : "localhost",
            "connections" : {
              "retries" : 0,
              "server" : 64,
              "active" : 947,
              "backend" : 177,
              "frontend" : 178
            }
          },
          "source" : {
            "port" : 56351,
            "address" : "10.21.254.31",
            "ip" : "10.21.254.31"
          },
          "event" : {
            "duration" : 19000000,
            "ingested" : "2020-11-17T10:37:37.350003075Z",
            "kind" : "event"
          }
        },
        "_ingest" : {
          "timestamp" : "2020-11-17T10:37:37.350003075Z"
        }
      }
    }
  ]
}

Видно, что не какие процессоры с гео не выполняются + так же и ctx не отрабатывает. Куда копать не ясно.

не знаю если дело именно в этом, но для IP 10.21.254.31 гео-декодинга не существует, так как это "reserved (private) IP address".

1 Like

Да, Вы правы, спасибо!

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.