В кибане не оттображается документы индекса

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день Коллеги,

вопрос не первый раз поднимается, но что то я делаю неправильно.

Есть кластер ES
Есть ВМ с LS
Есть ВМ откуда средствами Filebeats забирается тестовый лог.
для примера был взят стандартный messages

Индекс создается и через API к нему можно получить доспуп или поискать что либо.
В KB он не отображается.

я понимаю что навеерно дело в несовпадении @timestamp, но мои попытки исправить мапинг не приносят результата.

{
      "tags" => [
    [0] "beats_input_codec_plain_applied"
],
  "@version" => "1",
"@timestamp" => 2018-06-07T23:11:06.659Z,
   "message" => "2018-06-07T21:01:07.679803+00:00 elk01 logstash[1464]:         [0] \"beats_input_codec_plain_applied\"",
    "source" => "/var/log/messages",
    "offset" => 1019956210,
      "beat" => {
     "version" => "6.2.4",
        "name" => "elk01",
    "hostname" => "elk01"
},
      "host" => "elk01"

}

я добавил в мапинг уточнение формата

      "@timestamp": {
        "type": "date",
        "format": "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"
      },

но это не работает,
что можно еще подправить посмотреть?

2

Каким образом? Вы после изменения маппинга индекс пересоздали? Через API вы пробовали искать по дате? Работает? Поле @timestamp было сконфигурировано как "Time Filter field" в Kibana ?

3

Игорь спасибо за ответ.
т.к. среда тестовая, индеск создавался после импорта мапинга.

  1. поправил мапинг
  2. запустил filebeat
  3. индекс создался

по прежнему доступен через API и тишина в Discovery.

забыл один странный для меня момент, завтра в кибане все будет доступно.
т.е. я вчера проводил эксперементы и оставил среду запущенной в ночь
утром события лога неожиданно появились в кибане.
этого я тоже не понимаю (

4

Может, дата на машине с кибаной неправильно выставлена?

5

Игорь, а время на сервере KB должно совпадать с временем сервера LS?
Я проверю, как то эта мысль в голову не приходила (что там есть различия по времини)

6

Время сервера LS лог которого берётся как тест и время сервера KB различается на минуту?

7

По умолчанию кибана показывает последние 15 минут, причем запрос формулируется кибаной. Если есть существенное различие по времени кибаны может быть завтра с точки зрения elasticsearch. Попробуйте поиграться с интервалом времени.

Еще вопрос - а refresh_interval вы случайно на этом индексе не меняли?

8

Я пробовал интервалы до 90 дней - результат нулевой

Относительно интервалов обновления, ниже настройки индкс

{
"filebeat-6.2.4-2018.06.07": {
"settings": {
"index": {
"mapping": {
"total_fields": {
"limit": "10000"
}
},
"refresh_interval": "5s",
"number_of_shards": "5",
"blocks": {
"read_only_allow_delete": "true"
},
"provided_name": "filebeat-6.2.4-2018.06.07",
"creation_date": "1528411743253",
"number_of_replicas": "1",
"uuid": "C9ppI0X7SkucKPel7v6g9g",
"version": {
"created": "6020499"
}
}
}
},
"filebeat-6.2.4-2018.06.08": {
"settings": {
"index": {
"mapping": {
"total_fields": {
"limit": "10000"
}
},
"refresh_interval": "5s",
"number_of_shards": "5",
"blocks": {
"read_only_allow_delete": "true"
},
"provided_name": "filebeat-6.2.4-2018.06.08",
"creation_date": "1528416001515",
"number_of_replicas": "1",
"uuid": "uft9m7WJRJ6_DlOI2zFrIA",
"version": {
"created": "6020499"
}
}
}
}
}

9

Игорь а это может быть из-за неправильной настройки нод кластера и настроек реплики?

я обратил внимание что реплика на индексе одна, а кластер трех узловой. Две дата ноды и одна координационная (на которой и стоит KB.
Может тут есть ответы?

10

Нет, у вас logstash просто из будущего. Не знаю, как я это раньше не заметил. Дата в вашем примере, которую вы прислали 7 часов тому назад еще не наступила. Сейчас только 22:30 GMT, a у вас 7 часов назад было уже 23:11 GMT. Кибана данный из будущего не показывает. Если вы выберете интервал между сегодня и завтра, то эти данный должны показаться.

11

Игорь я понимаю ваше замечание (и это меня тоже смутило в настройках сервера), но позвольте кое что уточнить.

когда системные администраторы отдавали мне сервера, они обратили мое внимание что время и временная зона выставлены по гринвичу на всех серверах.

т.е. относительно моего локального времини, сервера в будущем, но о "настоящем" они не знают (часовой пояс МСК)
сервера автономны и вне сети Интернет.

или я что не знаю про это?

12

В данный момент по гринвичу около 2018-06-07T22:42:00.000Z
В вашем примере, опять же по гринвичу - 2018-06-07T23:11:06.659Z
Зона здесь ни при чем. Вы эти данные должны увидеть минут через 20, когда время по гринвичу достигнет времени вашего примера.

13

Игорь огромное спасибо за Вашу помощь,
это волшебно )

14

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.