6.0 에 추가된 기능 중에 Sparse Doc Value 가 있습니다. 간단하게 설명드리자면, Elasticsearch가 저장하는 Doc Value 는 기존에는 중간중간 비어있는 값이 있어도 값에 대한 저장 공간을 확보 하고 있었습니다.
이것이 ES 6.0 (정확히는 Lucene 7) 으로 업그레이드 되면서 이 비어 있는 값들의 빈 공간을 모두 없애고 데이터를 압축할 수 있게 되었습니다. 5.X의 데이터를 6.0 으로 _reindex API 를 이용해서 다시 색인하게 되면 데이터가 줄어드는 것을 확인할 수 있습니다.
특히 필드는 많지만 실제 도큐먼트 별로 사용중인 필드는 적은 metricbeat 데이터를 재색인 해 보면 용량이 많이 줄어드는것을 확인할 수 있습니다.
아래 영상에서 실제 재색인 후 용량이 어떻게 변하는지 확인 해 보시기 바랍니다.
데모에 사용된 예제 파일은 여기를 클릭 해서 받을 수 있습니다.