# Importer et indexer un document JSON en plusieurs documents

**URL:** <https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701>\
**Category:** Elasticsearch\
**Created:** [December 7, 2017, 3:10pm UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701 "2017-12-07T15:10:50Z")\
**Posts on this page:** 6\
**Page:** 1

<div class="post-metadata">

**Author:** ![Rym\_Guerbi\_Michaut](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/rym_guerbi_michaut/32/25496_2.png) [@Rym\_Guerbi\_Michaut](https://discuss.elastic.co/u/Rym_Guerbi_Michaut)\
**Post date:** [December 7, 2017, 3:10pm UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701/1 "2017-12-07T15:10:51Z")

</div>

Bonjour à tous,

Après moults tentatives et un bon coup de pouce, j'ai enfin réussi à importer et indexer un document en JSON sur Elasticsearch.

Le problème est qu'il a importé 36000 lignes dans un seul document. Et Kibana ne semble pas apprécier. Quand je tente de créer un index pattern, il me sort cette erreur:  
"Payload content length greater than maximum allowed: 1048576"

Je pense qu'il vaudrait mieux diviser ce document sur le critère "\_source" (qui a un effectif de 96). J'obtiendrais donc 96 documents dans mon index.

Problème: Je n'arrive pas à trouver le bon paramétrage pour le faire. Est-ce possible? et si oui, comment et où le faire?

NB: Pour l'import j'ai utilisé Logstash avec HTTP Poller en input et Elasticsearch en output.

En vous remerciant par avance.

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [December 7, 2017, 4:27pm UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701/2 "2017-12-07T16:27:01Z")

</div>

Cela semble vouloir dire que ce que tu as reçu en entrée de Logstash via le HTTP Poller est un seul évènement de 96 je-ne-sais-quoi.

Ca ressemble à quoi ce que tu as en entrée ?

---

<div class="post-metadata">

**Author:** ![Rym\_Guerbi\_Michaut](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/rym_guerbi_michaut/32/25496_2.png) [@Rym\_Guerbi\_Michaut](https://discuss.elastic.co/u/Rym_Guerbi_Michaut)\
**Post date:** [December 7, 2017, 4:43pm UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701/3 "2017-12-07T16:43:07Z")

</div>

C'est exactement ça.

Ca ressemble à un document JSON importé à partir d'une URL. Sa structure :

```auto
  "hits": [
                {
                    "_index": "json_10meilleurs_logs",
                    "_type": "logs",
                    "_id": "AWAxmwQu-DI0q0-iRw7m",
                    "_score": 1,
                    "_source": {
                        "source1": {
                            "1": { -
                                      -
                                      -
                                      -
                                        }
                            "2": { -
                                      -
                                      -
                                      -

                                        }
                                   .
                                   .

                             "6": { -
                                      -
                                      -
                                      -

                                        },

                 "source2": {
                            "1": { -
                                      -
                                      -
                                      -

                                        }
                            "2": { -
                                      -
                                      -
                                      -

                                        }
                                   .
                                   .
                             "6": { -
                                      -
                                      -
                                      -

                                    },

```

et dans "-source', il y a 96 entrées qui ont chacune des valeurs contenants +60 lignes chacune pour un total de 291 lignes pour chaque entrée de source.

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [December 7, 2017, 5:00pm UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701/4 "2017-12-07T17:00:40Z")

</div>

Please format your code using `</>` icon as explained in [this guide](https://discuss.elastic.co/t/about-the-elasticsearch-category/21). It will make your post more readable.

Or use markdown style like:

````
```
CODE
```

````

Je pense qu'il te faut ça: [https://www.elastic.co/guide/en/logstash/current/plugins-filters-split.html](https://www.elastic.co/guide/en/logstash/current/plugins-filters-split.html)

---

<div class="post-metadata">

**Author:** ![Rym\_Guerbi\_Michaut](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/rym_guerbi_michaut/32/25496_2.png) [@Rym\_Guerbi\_Michaut](https://discuss.elastic.co/u/Rym_Guerbi_Michaut)\
**Post date:** [December 8, 2017, 8:51am UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701/5 "2017-12-08T08:51:33Z")

</div>

Merci @dadoonet, j'ai passé l'après-midi sur ce problème. Après le passage en revue des paramètres de l'input plugin HTTP Poller, J'avais passé en revue tous les filtres de Logstash et j'ai dû passer à coté de celui-ci.

Merci encore pour ton aide et bonne journée

PS: j'ai mis en forme mon code 🙂 merci pour l'info

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [January 5, 2018, 8:51am UTC](https://discuss.elastic.co/t/importer-et-indexer-un-document-json-en-plusieurs-documents/110701/6 "2018-01-05T08:51:43Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
