Документы в среднем весят 10-30Мб, посылаю запросы на пакетную вставку, в пакете около 300-400 документов. Запросы пакетной вставки тоже идут параллельно в 8 потоков.
Но никак не могу добиться хорошей скорости индексации. Обычно она не превышает 6-8тыс. документов в минуту. Процессор загружен от силы на 15-20%, диск так же. Вообще простаивает железо.
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant
logo are trademarks of the
Apache Software Foundation
in the United States and/or other countries.