# Probleme de limite temporelle / Kibana

**URL:** <https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560>\
**Category:** Discussions en français\
**Created:** [September 2, 2022, 2:49pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560 "2022-09-02T14:49:02Z")\
**Posts on this page:** 15\
**Page:** 1

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 2, 2022, 2:49pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/1 "2022-09-02T14:49:02Z")

</div>

Bonjour,

Je me tourne vers vous car j'ai un pb avec l'affichage de données. J'ai un corpus de données injectées correctement qui vont de 1997 à 2022 (le doc count indique 289000). Lorsque je souhaite faire un graphique avec en abscisse le timestamp et en ordonnées une valeur d'un champ ce graphique "s'arrête" début 2019 alors que quand je parcours mes données il ya bien des données présentes avant.  
Si qqun a une idée (limitation de ELK peut être) ...  
Merci.  
Philippe

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [September 5, 2022, 9:11am UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/2 "2022-09-05T09:11:03Z")

</div>

Est-ce que tu as sélectionné une période temporelle dans Kibana ? Peux-tu faire une capture d'écran ?

---

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 5, 2022, 9:45pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/3 "2022-09-05T21:45:25Z")

</div>

Bonjour, Dans Kibana je sélectionne une période justement et cela donne ceci qui me permet de constater que le graphique s'arrête en 2019 alors que les données vont jusque 1997.

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/c/b/cb599be2861f55ad43ff995216352cba155f6e21.png)

Cordialement,

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [September 6, 2022, 5:10am UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/4 "2022-09-06T05:10:37Z")

</div>

Peux-tu partager un document json de 1997 ?

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [September 6, 2022, 9:57am UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/5 "2022-09-06T09:57:38Z")

</div>

Tu fais la somme de FATALITIES étalée dans le temps (@timestamp) mais si avant 2019 la valeur de chaque FATALITIES sur chaque doc est null, ça serait donc normal qu'on ait ce graphe.

Peux tu au lieu de faire un SUM juste faire un count en fonction du temps (@timestamp) ?

---

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 6, 2022, 12:53pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/6 "2022-09-06T12:53:26Z")

</div>

Bonjour à vous,

Merci pour vos réponses qui m'ont orienté dans ma recherche. Le count comme proposé par Ahmed effectivement donne le même résultat et un arrêt en 2019. Cela ne vient pas par contre de la variable Fatalities qui elle varie bien depuis 1997. En fait le problème vient de la variable timestamp qui est non pas la date de l'évènement (qui vont de 1997 à 2022) mais la date de saisie semble t il de la donnée. Ainsi entre 1997 et 2019 les données ont été saisie a posteriori (depuis cette année) date à partir de laquelle les données sont saisies en temps réel. Donc en gros tout ce qui est antérieur est noyé dans les données depuis 2019. La seule bonne date est dans un champ Event\_date mais qui est au format texte. Il faut donc que je réindexe mes données en injectant le champ Event\_Date (12-Jan-97 par exemple) en tant que champ date par contre je ne sais comment le faire.

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [September 6, 2022, 1:14pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/7 "2022-09-06T13:14:42Z")

</div>

Tu peux utiliser un ingest pipeline pour transformer tes documents.  
Et utilise un [Date Processor](https://www.elastic.co/guide/en/elasticsearch/reference/current/date-processor.html) pour lire la date depuis `Event_Date` vers `timestamp`.

Genre:

```auto
{
  "description" : "Change the date",
  "processors" : [
    {
      "date" : {
        "field" : "Event_Date",
        "target_field" : "timestamp",
        "formats" : ["dd-MMM-yy"],
        "timezone" : "Europe/Paris"
      }
    }
  ]
}

```

Puis une fois que ton pipeline te plait, l'appeler depuis l'API `_reindex`. Voir

> **[Reindex API | Elasticsearch Guide \[8.4\] | Elastic](https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-reindex.html#reindex-with-an-ingest-pipeline)**

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [September 6, 2022, 1:23pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/8 "2022-09-06T13:23:22Z")

</div>

Ou utiliser les index template :

```auto
PUT _template/template_XXX
{
  "index_patterns": [
    "xxx" # <---- Preciser ici le nom de l'index destination du reindex
  ],
  "mappings": {
    "properties": {
      "Event_date ": {
        "type": "date",
        "format": "dd-MMM-yy",
        "locale": "fr-FR"
      }
    }
  }
}

```

---

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 6, 2022, 1:28pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/9 "2022-09-06T13:28:37Z")

</div>

Merci encore pour vos réponses.  
Je comprends les fonctions que vous indiquez, mon souci, (je suis un novice en matière d'Elasticsearch) est par contre que je ne vois pas comment appliquer ce nouveau pipeline depuis Kibana. Est il possible par exemple de reprendre le fichier csv de départ et au moment de l'indexation changer le format dans le template pour event\_date ?

Sinon dans Kibana j'ai bien vu ou et comment créer le pipeline mais je ne vois comment l'appliquer.

---

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 6, 2022, 2:08pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/10 "2022-09-06T14:08:36Z")

</div>

En changeant directement à l'importation du csv le champ event\_date en date avec comme format "format": "dd-MMM-yy" j'ai réussi à intégrer toutes les dates mais hélas étant sur deux digit tout ce qui est avant 2000 est en fait transformé en 2000 + les deux digits comme le montre le graphique :

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/8/8/88e7deaf651aac8c93e418259003cf6e7fb302e1.png)

C'est ballot 🙂

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [September 6, 2022, 2:42pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/11 "2022-09-06T14:42:16Z")

</div>

Tu peux essayer avec un format genre: `dd-MMM-yy||dd-MMM-yyyy`.

---

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 6, 2022, 3:28pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/12 "2022-09-06T15:28:29Z")

</div>

Merci pour votre aide, Finalement j'ai opté pour la solution à la source. J'ai reformaté le champ event\_date dans un tableur et il est reconnu à présent directement comme une date par Elasticsearch.

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [September 6, 2022, 3:32pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/13 "2022-09-06T15:32:56Z")

</div>

Ok - super.

Dans tes prochaines injections, tu n'auras toujours pas la main pour modifier les fichiers depuis la source. Et dans ce cas, faut définir un mappings avant indexation

---

<div class="post-metadata">

**Author:** ![Phildefer](https://avatars.discourse-cdn.com/v4/letter/p/9fc348/32.png) [@Phildefer](https://discuss.elastic.co/u/Phildefer)\
**Post date:** [September 6, 2022, 3:47pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/14 "2022-09-06T15:47:12Z")

</div>

Effectivement, je vais devoir progresser dans la maitrise d'ELK notamment en matière de mise à jour des index puisque de nouvelles données doivent être ajoutées tous les mois 😱

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [October 4, 2022, 3:47pm UTC](https://discuss.elastic.co/t/probleme-de-limite-temporelle-kibana/313560/15 "2022-10-04T15:47:57Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
