안녕하세요.
tmplog라는 파일에 임시로 로그 데이터 두 줄을 넣어넣고 logstash 및 filebeat를 실행하면 정상적으로 인덱싱되어 ES에 데이터가 들어오는 것 까지는 정상적으로 작동하는데, logstash가 실행된 상태에서 tmplog를 열고 추가로 로그데이터 한 줄을 넣고 저장하면 이전에 ES에 들어간 로그 데이터까지 중복으로 다시 읽어서 ES에 저장됩니다.
즉, 원래대로라면 기존의 2줄 + 추가 1줄 이렇게 총 3개의 document가 ES에 있어야 하는데 실행 결과값을 보면 2줄 + 3줄(기존의 2줄 + 새로운 1줄) 총 5개의 document가 ES에 있습니다. 해결할 수 있는 방법이 있을까요?
- 처음 2줄을 실행하고 filebeat registry를 확인해보았을때 offset값이 0이 아닙니다