Python elasticsearch 모듈을 사용하여 10분마다 방화벽 로그를 다른 elasticsearch 서버로 옮기고 있습니다.
10분동안 최소 15만개 이상의 데이터를 옮겨야 하는데 대략 1개의 데이터를 전송하는데 0.001944초가 소요됩니다.
데이터를 업로드하는데 걸리는 시간을 줄일 수 있나요..?
코드 :
es.index( index='filebeat-7.5.1', body=body_data)
Python elasticsearch 모듈을 사용하여 10분마다 방화벽 로그를 다른 elasticsearch 서버로 옮기고 있습니다.
10분동안 최소 15만개 이상의 데이터를 옮겨야 하는데 대략 1개의 데이터를 전송하는데 0.001944초가 소요됩니다.
데이터를 업로드하는데 걸리는 시간을 줄일 수 있나요..?
코드 :
es.index( index='filebeat-7.5.1', body=body_data)
elasticsearch 에서 refresh_interval 을 1분 정도로 한번 늘려서 테스트 해 보시기 바랍니다.
python 모듈 자체에서 워커 수를 늘리는 옵션은 제공 하고 있는지는 확실치 않네요.
© 2020. All Rights Reserved - Elasticsearch
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant logo are trademarks of the Apache Software Foundation in the United States and/or other countries.