Conseils sur Index / Shards

Elastic In Your Native Tongue Discussions en français
1

Bonjour à tous,

Je travaille actuellement sur une architecture ELK avec 3 nodes (2 data node et 1 non data).

J’ai des logs de types différents qui sont produits par différentes applications pour différents clients à traiter. Donc je voudrais en fait séparer les logs par types et les séparer par clients aussi pour faciliter plus tard la recherche.

Je ne sais pas ce qui serai le mieux :

  • Créer un index pour chaque client avec plusieurs types (qui correspondrais aux différentes applications). Nous avons 4 différents clients.
  • Ou alors créer un index pour chaque applications avec plusieurs types (qui correspondrais aux différents clients). Nous avons 3 /4 applications.

Combien de shards devrais-je avoir par index à votre avis ?

Merci pour votre aide !

2

Est-ce que les logs des clients ont globalement la même tête ou sont-ils totalement différents ?

Pour info, nous allons supprimer la notion de type progressivement donc d'ores et déjà je recommande de n'utiliser qu'un seul type par index.

Pour le sizing. C'est impossible à savoir. Il faut que tu fasses des tests.

Je te conseille de regarde cela: https://www.elastic.co/fr/elasticon/conf/2016/sf/quantitative-cluster-sizing

3

Les logs des clients sont globalement identique, les applications qui traitent leurs données sont les mêmes donc ils produisent les mêmes logs pour différents clients mais avec des données différentes.

D'accord merci pour la vidéo !

4

Donc je mettrai un index global (mais horodaté - genre un index tous les jours ou tous les mois suivant le volume) et j'ajouterai une sécurité au dessus de tout ça pour filtrer les accès.

x-pack (plugin commercial) pourrait te simplifier la sécurisation.

5

D'accord mais lorsque par exemple je veux retrouver une informations dans des logs spécifiques pour un client spécifique et que j'ai accès a tout les logs, comment faire ?

La suppression des types est prévu pour quand ?

Si par exemple je créé un index avec 2 shards, est qu'au fil du temps je vois qu'il devient saturé, y'a t'il un moyen de rajouté un shard sans perte de données ?

Merci pour ton aide !

6

Tu filtres par client dans ta requête.

C'est pour cela qu'un index par jour est utile. Tu changes ta stratégie quand tu vois que ça commence à grossir.
Sinon, regarde aussi le rollover index and shrunk API.

1 Like
7

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.