Хранение исторических данных

Elastic In Your Native Tongue Вопросы на русском языке
1

Есть Elastic Stack v 5.5.1 (kibana+elasticsearch+logstash)
Есть интернет-магазин, который льёт логи в Elastic Stack v 5.5.1

с одной стороны есть задача переноса на версию Elastic Stack поновее (поднята 6.5.4 и туда приходит инфа о производительности от metricbeat) , но так же есть желание хранить данные в ElasticSearch за долгое время желательно год.

как правильно всё сделать ? сначала перевести на новую версию и уже потом решать проблему с длительным хранением ?

как правильно решать вопрос с длительным хранением данных ?

2

Это как вам удобнее. Индексы из 5.5.1 можно перенести в 6.5.4 без переиндексации, но в 7.x их уже перенести будет на прямую нельзя.

Одно из стандартных решений - это cold/warm architecture. Но это имеет смысл если вам нужен постоянный доступ к старым индексам. Если вы их храните на всякий случай - то можно просто сделать их снапшот и удалить из кластера. Если понадобятся - восстановите.