Organisation des documents dans Elasticsearch

Elastic In Your Native Tongue Discussions en français
1

Bonjour,

Je suis entrain de mettre en place un système de centralisation des logs applicatifs.

Mon cluster est constitué d'un nœud (12go dédié à Elasticsearch).
J'ai un index(5 shards sans réplica) par jour avec un type, toute mes applications écrivent (environ 30 millions de documents/jour) vers cette index. Certaines applications envoies des documents avec des champs en plus.

Est-il judicieux de tous mettre dans un index ?

2

Si il s'agit de champs en plus, sans risque de conflit entre les différentes sources tu peux tout mettre dans un seul index.

5 shards est peut-être trop. Ca ne tiendrait pas dans un seul shard par hasard ?

3

Bonjour,

Ça tient bien dans un shard mais d’après ce que j'ai compris, il faut éviter que la taille d'un shard dépasse la taille de la ram réservé à Elasticsearch n'est ce pas ?

4

Non pas du tout.

Disons que la taille doit rester entre 20 et 50 go (à tester pour plus de précision)

5

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.