과도한 검색 요청이 유발하는 GC에 따른 Throughput 성능 저하

[GHShin]

안녕하세요. ES를 이용한 검색 시스템을 구축해서 사용하고 있습니다.

시스템 구성 :

• 데이터 - 서버 1대당 2개의 ES, 총 9대의 서버로 구성 (총 18 노드), Heap 30G
• 마스터 - 총 3노드, Heap 10G
• 클라이언트 - 총 3노드, Heap 10G (마스터 서버에 함께 올려서 사용)
• ES 버전 : 5.2.2

현재까지 파악된 현황 :

1. 스트리밍 형태의 데이터를 ES에 적재하던 중 데이터 적재 지연 확인

2. GC가 지속적으로 수행되어 있음을 확인

3. 조회쪽의 로그를 확인해본 결과 검색량 증가 확인

4. 현재 운영쪽에서는 검색량이 순간 폭증하여 잦은 GC에 따른 데이터 적재 지연으로 의심 중

운영측의 요청사항은 다음과 같습니다.

• ES캐쉬의 크기를 Heap에 넘지 않게 설정을 해서 GC가 돌기전에 캐쉬의 일정 부분을 삭제 할 수 있는 방법은 있는지?

혹시 관련한 내용 아시는 분이 계시면 조언 부탁드립니다.