Ограничение поиска клиентов через kibana\gafana

Elastic In Your Native Tongue Вопросы на русском языке
1

Коллеги, добрый день.
Подскажите, пожалуйста, как защититься от пользовательских запросов в elasticsearch, когда пользователь выбирает огромный диапазон данных и этот объем просто на некоторое время (пока по таймауту не отобьётся) кладёт систему.
Возможно ли дать настройку ограничения вывода данных, скажем не более чем 1000000 документов. Или чтобы elasticserach разбивал на порции такой батч и выводил данные порционно.
Буду благодарен за наводку.

P.S. coordination- ноды в системе, к сожалению пока нет, и выборка данных делается на прямую с дата-нод.

2

Какая версия elasticsearch? В современных версиях по умолчанию больше 10,000 получить нельзя. Контролируется через index.max_result_window.

3

У нас elasticsearch 7.3.2. Коллеги сегодня запросил данные из grafana за 1 мес.и кластеру стало плохо - нагрузка до 100%. По идее если более 10000 нельзя, то запрос не должен был привезти к таймаутам обращений остальных клиентов и в целом к проблемам с производительностью кластера?
Игорь, я правильно понял, что нужно посмотреть данный параметр через api и уменьшить его скажем до 5000?

4

Может, коллеги какую-нибудь агрегацию большую запустили? Вы включите slow log и посмотрите, что они запускают, чтобы не гадать.

5

Даш-борд отображал 50 графиков, все они - это выборка из эластика с условиями, с жесткой агрегацией данных за 1 минуту. Вот и хотелось бы понять как от таких запросов защитить кластер. Поскольку бизнесу важно данные видеть с разбивкой в 1 минуту, агрегация auto не подходила. Да медленный журнал включён.

6

За какой период бизнесу важно эти данные видеть?

7

За последние 2-3 часа с возможностью перестраивания графика за любой диапазон, чтобы получить сравнительную статистику.
Вот и планировалось как-то ограничить на уровне кластера, если данных запрошено слишком много, скажем за 5 дней, чтобы этот запрос либо как-то разбивался или даже отбивался сразу

8

Тогда попробуйте уменьшить search.max_buckets до 1000 и посмотрите, будут ли разумные запросы работать.

9

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.