Insertion en masse dans ES


#1

Bonjour,
J'ai besoin d'insere dans ES 5go de données.
J'ai défini le mapping de mon index à sa création et je fais l insertion par bloc de 1000 objets.
Je trouve que l insertion prend beaucoup de temps.
La configuration de ES est celle par défaut sur mon poste en loca de 8go de RAM.
Y a-t-il moyen d accélérer l insértion ?
Merci


(David Pilato) #2

Tu as quelle type de configuration?
C'est quoi beaucoup de temps?

D'où vient la source ?


#3

Bonjour,
merci pour la rapidité de la réponse.
pour le temps: ~30 minutes
la configuration: j'ai télécharger ES, dezzipage et ./es/bin/es => config par defaut


(David Pilato) #4

Comment injectes-tu les documents dans elasticsearch ?


#5

bonjour,
je fais un post :

/index_name/type/_bulk

avec un flux sous la forme :

{"index":{"_id":"type:123"}}
{"id":"type:123",....}
....
....


(David Pilato) #6

Tu peux montrer un exemple type de document ?

Combien de documents à indexer ?

Quel type de disque dur as-tu ?


(system) #7

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.