안녕하세요 엘라스틱 서치를 사용해서 대용량 csv 파일을 실시간 데이터인 것처럼 활용하려고 합니다.
datetime 형식의 타임 인덱스를 기반으로 100개 미만의 컬럼을 갖은 데이터 셋을 1초(또는 1분)마다 한줄씩 append를 하려고 합니다.
대량의 데이터를 한번에 삽입하는 것이 아닌, 인덱스를 기준으로 특정 주기마다 한 줄씩 삽입하는 방법을 알고 싶습니다.
1 Like
아래 두 가지 방법 사용하서 파일에 값이 추가될 때 마다 데이터를 전송하시면 되겠습니다.
방법 1) Filebeat -> Elasticsearch's csv process (관련 레퍼런스)
방법 2) Logstash's File Input Plugin with (CSV codec or CSV filter) -> Elasticsearch
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.