Есть Elastic Stack v 5.5.1 (kibana+elasticsearch+logstash)
Есть интернет-магазин, который льёт логи в Elastic Stack v 5.5.1
с одной стороны есть задача переноса на версию Elastic Stack поновее (поднята 6.5.4 и туда приходит инфа о производительности от metricbeat) , но так же есть желание хранить данные в ElasticSearch за долгое время желательно год.
как правильно всё сделать ? сначала перевести на новую версию и уже потом решать проблему с длительным хранением ?
как правильно решать вопрос с длительным хранением данных ?
Это как вам удобнее. Индексы из 5.5.1 можно перенести в 6.5.4 без переиндексации, но в 7.x их уже перенести будет на прямую нельзя.
Одно из стандартных решений - это cold/warm architecture. Но это имеет смысл если вам нужен постоянный доступ к старым индексам. Если вы их храните на всякий случай - то можно просто сделать их снапшот и удалить из кластера. Если понадобятся - восстановите.
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant
logo are trademarks of the
Apache Software Foundation
in the United States and/or other countries.