Падает Эластик 5.2.1, те же запросы Elastiс 2.4.1 отрабатывает влёт

Elastic In Your Native Tongue Вопросы на русском языке
21

Я переслал всю необходимую информацию разработчику, который работает над этой частью кода. После этого ничего пока от него не слышал. Как только что-нибудь найдем - сообщу.

22

Игорь, подскажите пожалуйста, пока ничего не слышно по нашему вопросу? =)

23

У нас тут конференция на этой неделе, так что может занять некоторое время...

24

Игорь, доброго Вам дня!
Пока тишина с данным вопросом? :slight_smile:

25

Пока ничего. Вы не беспокойтесь, я про ваш вопрос помню. Попробую на этой неделе воспроизвести. У меня и у разработчика, который на этой части кода работал, на прошлой неделе времени не было, а на этой и следующей он в отпуск ушел. Так что это может занять некоторое время.

1 Like
26

Я вижу вышла новая версия эластика, изменений по нашему вопросу пока нету, да?

27

Нет, изменений пока никаких нет, но понимание проблемы слегка улучшилось. Нашли наиболее вероятную причину, почему это работало в прошлой версии и не работает в 5.x - https://github.com/elastic/elasticsearch/pull/19215. Кстати, вы не могли бы попробовать уменьшить precision, что бы убедиться, что это действительно причина.

1 Like
28

Даю отчёт.
При запросе:

{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "query": "*",
            "analyze_wildcard": true
          }
        },
        {
          "range": {
            "@timestamp": {
              "gte": 1490860753533,
              "lte": 1490861653533,
              "format": "epoch_millis"
            }
          }
        }
      ],
      "must_not": []
    }
  },
  "_source": {
    "excludes": []
  },
  "aggs": {
    "4": {
      "terms": {
        "field": "ip",
        "size": 5,
        "order": {
          "1": "desc"
        }
      },
      "aggs": {
        "1": {
          "cardinality": {
            "field": "ip",
            "precision_threshold": 1000
          }
        }
      }
    }
  }
}

Не падает.
Если убираю precision_threshold - сразу падает.

Вот так - ОК: http://joxi.ru/J2bZ1ZIXvbgJ26

[2017-03-30T11:21:45,236][INFO ][o.e.m.j.JvmGcMonitorService] [fatsod11] [gc][young][1109][148] duration [727ms], collections [1]/[1s], total [727ms]/[25.6s], memory [16.3gb]->[15.8gb]/[23.8gb], all_pools {[young] [1.4gb]->[9.4mb]/[1.4gb]}{[survivor] [191.3mb]->[191.3mb]/[191.3mb]}{[old] [14.7gb]->[15.6gb]/[22.1gb]}

Вот так - http://joxi.ru/v29wWwH3OJPMrG Вытаскивает даже за 7 суток данные не падая. Если ставить "precision_threshold": 100 , то на недельном интервале отрабатывает breaker

[2017-03-30T12:17:50,580][INFO ][o.e.m.j.JvmGcMonitorService] [fatsod11] [gc][old][1826][5] duration [9.4s], collections [1]/[10s], total [9.4s]/[25.9s], memory [20.2gb]->[19.2gb]/[23.8gb], all_pools {[young] [14.5mb]->[13.8mb]/[1.4gb]}{[survivor] [0b]->[0b]/[191.3mb]}{[old] [20.2gb]->[19.2gb]/[22.1gb]}
[2017-03-30T12:17:50,580][WARN ][o.e.m.j.JvmGcMonitorService] [fatsod11] [gc][1826] overhead, spent [9.7s] collecting in the last [10s]
[2017-03-30T12:17:50,747][WARN ][o.e.i.b.request          ] [request] New used memory 16177408296 [15gb] for data of [<reused_arrays>] would be larger than configured breaker: 15341518848 [14.2gb], breaking
[2017-03-30T12:17:50,896][WARN ][o.e.i.b.request          ] [request] New used memory 15858072696 [14.7gb] for data of [<reused_arrays>] would be larger than configured breaker: 15341518848 [14.2gb], breaking
[2017-03-30T12:17:50,973][WARN ][o.e.i.b.request          ] [request] New used memory 15719257208 [14.6gb] for data of [<reused_arrays>] would be larger than configured breaker: 15341518848 [14.2gb], breaking
29

Игорь, здравствуйте! Никаких подвижек пока мне пока не ждать? Вроде как проблема выявлена https://github.com/elastic/elasticsearch/issues/21942 ?

30

Проблема выявлена, но что делать с ней мы еще не решили. Следите за issue.

31

Спасибо! Будем ждать! =)

32

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.