Python elasticsearch 모듈을 사용하여 10분마다 방화벽 로그를 다른 elasticsearch 서버로 옮기고 있습니다.
10분동안 최소 15만개 이상의 데이터를 옮겨야 하는데 대략 1개의 데이터를 전송하는데 0.001944초가 소요됩니다.
데이터를 업로드하는데 걸리는 시간을 줄일 수 있나요..?
코드 :
es.index( index='filebeat-7.5.1', body=body_data)
Python elasticsearch 모듈을 사용하여 10분마다 방화벽 로그를 다른 elasticsearch 서버로 옮기고 있습니다.
10분동안 최소 15만개 이상의 데이터를 옮겨야 하는데 대략 1개의 데이터를 전송하는데 0.001944초가 소요됩니다.
데이터를 업로드하는데 걸리는 시간을 줄일 수 있나요..?
코드 :
es.index( index='filebeat-7.5.1', body=body_data)
elasticsearch 에서 refresh_interval 을 1분 정도로 한번 늘려서 테스트 해 보시기 바랍니다.
python 모듈 자체에서 워커 수를 늘리는 옵션은 제공 하고 있는지는 확실치 않네요.
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
© 2020. All Rights Reserved - Elasticsearch
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant logo are trademarks of the Apache Software Foundation in the United States and/or other countries.