# Вопрос по агрегации и скорости **URL:** \ **Category:** Вопросы на русском языке\ **Created:** [December 2, 2018, 12:01pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040 "2018-12-02T12:01:41Z")\ **Posts on this page:** 13\ **Page:** 2
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [December 5, 2018, 8:37pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/21 "2018-12-05T20:37:49Z")
> [@leov](#): > > вы просто как политик или адвокат 🙂 Я практик 🙂 и на практике какая-нибудь "мелочь", которая вам кажется неважной, может существенно повлиять не результат. > [@leov](#): > > ну и как тут можно понять стоит ли дальше что-то оптимизировать? За то время, пока мы с вами обсуждаем эту проблему, можно было все эти данные на 5.6 уже несколько раз залить, разбивая на индексы, и протестировать. ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 5, 2018, 9:20pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/22 "2018-12-05T21:20:57Z")
вот только поменяли параметры памяти посмотрите пожалуйста [\_nodes001](http://dev1.008.ru/_nodes001.json) [\_nodes\_stats001](http://dev1.008.ru/_node_stats001.json) и если не трудно подскажите на что там следует обращать внимание нет вроде ничего сильно не поменялось после изменения параметров памяти может не то или не так сделали... дальше буду работать над разбиением по годам предполагаю что и нод надо в каждом году добавить и настройки кэширования надо подергать и постараюсь пробить обновление версии ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 10, 2018, 9:42am UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/23 "2018-12-10T09:42:23Z")
обновился до 5.6. пока проблемы с заливкой решаю. при больших пачках bulk валится. хотя скорее всего это php еще на подготовке пачки. не подскажете ли а нельзя тут сделать какой-то мапинг впрок для линии индексов? чтобы он применялся для индексов например myindex\_stat\_2015 .... и т.д при заливке следующих данных возникнет 2019 и чтобы оно подхватило аналогичное существующему 2018 чтобы не создавать заранее кучу пустых индексов ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [December 10, 2018, 10:28am UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/24 "2018-12-10T10:28:17Z")
> [@leov](#): > > при больших пачках bulk валится Как он валится? > [@leov](#): > > е подскажете ли а нельзя тут сделать какой-то мапинг впрок для линии индексов? Проще всего это сделать создав [index template](https://www.elastic.co/guide/en/elasticsearch/reference/5.6/indices-templates.html). ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 10, 2018, 10:31am UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/25 "2018-12-10T10:31:19Z")
php валится. до эластика не доходит. видимо что-то с памятью сдвинулось потому как проходило ведь уже. надо пачки поменьше делать посмотрю на index template. спасибо ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 10, 2018, 1:48pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/26 "2018-12-10T13:48:26Z")
сделал index template сделал разбиение индекса по годам чуть более 2 сек на полном запросе что в общем уже вполне приемлемо еще бы хотелось чтобы вы просмотрели конфигурацию и/или подсказали на что там следует обращать внимание большое спасибо Вам за помощ. ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [December 10, 2018, 2:25pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/27 "2018-12-10T14:25:37Z")
> [@leov](#): > > еще бы хотелось чтобы вы просмотрели конфигурацию > и/или подсказали на что там следует обращать внимание Для этого на новые node info и stats с кластера, на котором уже ваши запросы были протестированы, надо посмотреть. ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 10, 2018, 9:08pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/28 "2018-12-10T21:08:16Z")
[\_nodes.json](http://dev1.008.ru/_nodes002.json) [\_node\_stats.json](http://dev1.008.ru/_node_stats002.json) добавление количества шард в индекс увеличивает скорость на 2018 году скорость было 2.3сек а после пересоздания с 2 шардами 1.4сек попробую еще больше разбить ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 11, 2018, 9:41am UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/29 "2018-12-11T09:41:29Z")
при разбивке помесячно и с 2 шардами ответ 1.7сек ну в общем тема почти исчерпана посмотрите и прокомментируйте пожалуйста отчеты хотелось бы узнать на что в них следует обращать внимание ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [December 11, 2018, 1:02pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/30 "2018-12-11T13:02:46Z")
Кроме как [со свапом](https://www.elastic.co/guide/en/elasticsearch/reference/5.6/setup-configuration-memory.html) проблем, вроде, не вижу. ---
**Author:** ![leov](https://avatars.discourse-cdn.com/v4/letter/l/ed655f/32.png) [@leov](https://discuss.elastic.co/u/leov)\ **Post date:** [December 13, 2018, 8:09pm UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/32 "2018-12-13T20:09:17Z")
а не подскажете ли еще со скоростью загрузки как можно улучшить вроде читаю всякие статьи и говорят про какие-то фантастические скорости а практически получается заливать пачками по 10тыс за 5 сек итого на моем наборе ~2.5 часа выходит в моем случае это не проблема. раз залью историю а дальше только анализ но в принципе хотелось бы владеть вопросом быстрой заливки читал что вроде еще в несколько потоков надо пакеты заталкивать... у меня пока в один поток может есть какие-то инструменты чтобы из mysql толкать прямиком в ES ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [December 14, 2018, 7:57am UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/33 "2018-12-14T07:57:12Z")
> [@leov](#): > > у меня пока в один поток Да, это, скорее всего, не оптимально. > [@leov](#): > > может есть какие-то инструменты чтобы из mysql толкать прямиком в ES > **[Jdbc input plugin | Logstash Reference \[8.11\] | Elastic](https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html)** ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [January 11, 2019, 7:57am UTC](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040/34 "2019-01-11T07:57:12Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed. [Previous page](https://discuss.elastic.co/t/vopros-po-agregaczii-i-skorosti/159040.md?page=1)