# Envoyer du Json dans Elastic Stack

**URL:** <https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890>\
**Category:** Discussions en français\
**Created:** [June 12, 2020, 12:33pm UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890 "2020-06-12T12:33:44Z")\
**Posts on this page:** 20\
**Page:** 1

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 12, 2020, 12:33pm UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/1 "2020-06-12T12:33:45Z")

</div>

Bonjour tout le monde,

J´ai connecter Kafka à Elastic Stack, mon probleme est que je ne peux pas envoyer du Json mais seulement seulement des données String ou des nombres. Si je veux envoyer un Json, je suis obligé de le mettre entre cote ( _' **{​"ID:" 1, ​"timestamp:" 5.1 ,​ “temperature:” 25.01,“AxAyAz:" ​1.5, “RollPitchYaw:" 5.5,​ “RotXRotYRotZ:" 1.6}**'_).

si j´envoie le Json sans cote, chacque attribut devient un message. Exemple: l´ID devient un message, le Timestamp devient un autre message etc.

J´ai ce resultat sur Kibana avec le Point d´interrogation (?)

Table

_message �{​"ID:" 1, ​"timestamp:" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:" ​1.5, “RollPitchYaw:" 5.5,​ “RotXRotYRotZ:" 1.6}_

JSON  
_`* *"message": "\u0000\u0000\u0000\u0000\u0002�\u0002{​\"ID:\" 1, ​\"timestamp:\" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:\" ​1.5, “RollPitchYaw:\" 5.5,​ “RotXRotYRotZ:\" 1.6}"* *`_

Je n´ai pas beaucoup d´experience sur Elastic

Qu´est ce que je peux faire pour avoir le Json qui nest pas disloqué quand j´envoie le Json sans cote?

Merci pour votre aide

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [June 12, 2020, 12:54pm UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/2 "2020-06-12T12:54:32Z")

</div>

Je n'ai aucune idée de ce qui se passe, ne connaissant pas Kafka et ne comprenant pas trop ce que tu décris.

Le caractère `�` semble indiquer un problème d'encodage. Elasticsearch ne comprend que l'UTF-8.

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 15, 2020, 8:55am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/3 "2020-06-15T08:55:23Z")

</div>

Je vous remercie

C´est deja une bonne piste de savoir que c´est un probleme d´encodage et que Elasticsearch ne comprend que l´UTF-8.

Peut- que quelqu´un d´autre a une autre idée pourquoi j´ai un probleme pour envoyer des JSon.

Y´a t-il des étapes indispensables à faire dans Elasticsearch avant d´envoyer un json?

Merci pour votre aide

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [June 15, 2020, 11:37am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/4 "2020-06-15T11:37:37Z")

</div>

> [@Gerard\_Kamp](#):
>
> Peut- que quelqu´un d´autre a une autre idée pourquoi j´ai un probleme pour envoyer des JSon.

Il faudrait que tu dises exactement comment tu fais. Ce que tu utilises, la configuration....

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 16, 2020, 7:51am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/5 "2020-06-16T07:51:30Z")

</div>

J´envoie les données par MQTT:

MQTT -\> KAFKA -\> LOGSTASH -\> ELASTICSEARCH -\> KIBANA

Et le JSon que j´envoie est : _{​"ID:" 1, ​"timestamp:" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:" ​1.5, “RollPitchYaw:" 5.5,​ “RotXRotYRotZ:" 1.6}_

Et si je l´envoie sans cote ('') c´est a dire _{​"ID:" 1, ​"timestamp:" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:" ​1.5, “RollPitchYaw:" 5.5,​ “RotXRotYRotZ:" 1.6}_ , il se dissloque: ID: 1 devient un message, Timestamp devient un autre... alors que tout le JSon est un seul message.

Maintenant si Je mets le JSon entre cote '' comme ceux-ci: _'{​"ID:" 1, ​"timestamp:" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:" ​1.5, “RollPitchYaw:" 5.5,​ “RotXRotYRotZ:" 1.6}'_

J´ai ce resultat sur Kibana avec le Point d´interrogation (?)

Table

_message �{​"ID:" 1, ​"timestamp:" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:" ​1.5, “RollPitchYaw:" 5.5,​ “RotXRotYRotZ:" 1.6}_

JSON  
_`* *"message": "\u0000\u0000\u0000\u0000\u0002�\u0002{​\"ID:\" 1, ​\"timestamp:\" 5.1.20 ,​ e“temperature:” 25.01,“AxAyAz:\" ​1.5, “RollPitchYaw:\" 5.5,​ “RotXRotYRotZ:\" 1.6}"* *`_

Peut-etre que je suis plus claire maintenant. Merci pour votre aide

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [June 16, 2020, 9:12am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/6 "2020-06-16T09:12:25Z")

</div>

> [@Gerard\_Kamp](#):
>
> Et le JSon que j´envoie est

Que tu envoies d'où à où ?

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 16, 2020, 9:34am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/7 "2020-06-16T09:34:48Z")

</div>

Merci pour votre réponse.

Je fais un Mosquitto Pub du Json dans Apache Kafka et j´ai connecter Kafka a Elasticsearch via Logstash et je visalize avec Kibana.

Voici le Json que j´envoie dans Kafka: _{​"ID:" 1,  
​"timestamp:" 5.1.20 ,  
​ “temperature:” 25.01,  
“AxAyAz:" ​1.5,  
“RollPitchYaw:" 5.5,​  
“RotXRotYRotZ:" 1.6}_

merci

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 16, 2020, 9:40am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/8 "2020-06-16T09:40:46Z")

</div>

Je parviens a voir les resultat dans Kibana mais j´ai un probleme d´affichage ou de mapping peut etre car je ne connais pas bien Elastic.

Comme Je lai dit si j´envoie un nombre un String ca s´affiche bien mais si cest un Json ca saffiche mal.

Merci

Ya til des configuration a faire avant d´envoyer un json sur Elasticsearch?

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [June 16, 2020, 9:51am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/9 "2020-06-16T09:51:06Z")

</div>

Peux -tu nous montrer ton file de conf logstash ?

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 16, 2020, 10:50am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/10 "2020-06-16T10:50:32Z")

</div>

Je vous envoie le conf Logstash

input{

kafka{  
bootstrap\_servers =\> "localhost:9092"  
topics =\> ["mqtt.imu"]  
codec =\>"json"  
}  
}

output{  
stdout{  
codec =\>"json"  
}

elasticsearch{  
hosts =\> ["localhost:9200"]  
index =\> "mqtt.imu"  
}  
}

merci

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 19, 2020, 10:08am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/11 "2020-06-19T10:08:21Z")

</div>

Bonjour a tous  
je vous envoie les donnees

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/f/8/f8305b2a9deadb1efbc532b8244c8fac88072f81.png)

J´aimerai afficher sur l´axe X les time et sur l´axe Y un des attributs de message. Exemple: roll ou nick ou gier ou a\_x.

Ma question est la suivant: comment pourrais-je faire pour afficher un element du message dans l´axe des ordonnees ? comme par exemple roll.

Merci pour votre aide

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 22, 2020, 10:47am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/12 "2020-06-22T10:47:29Z")

</div>

Bonjour tout le monde,

Je vous envoie un Json. J´aimerai creer une visualisation en utilsant pas count dans l´axe y mais plutot un attribut du message comme par exemple: "roll":-14.76143,"nick":-13.77841,"gier":-14.76143, ...

Est-til possible de visualiser un seul attribut du message (exemple: nick)?

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/d/2/d2f4425102a1ec300032f36b844e38efef46da71.png)

![image](https://us1.discourse-cdn.com/elastic/original/3X/3/e/3e95da709c468e895f3b4a59b1e76db28ed2e383.jpeg)

Merci pour votre réponse

Cordialement  
Gerard

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [June 22, 2020, 11:42am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/13 "2020-06-22T11:42:35Z")

</div>

1. Le parsing de ton messgae json est echoué. (tags : jsonparsefailure).  
=\> faut deja que tu resous ce petit probleme.

2. 

> [@Gerard\_Kamp](#):
>
> Est-til possible de visualiser un seul attribut du message (exemple: nick)?

=\> OUI  
voici un lien qui pourrait t'aider : [https://www.elastic.co/guide/en/kibana/6.8/createvis.html](https://www.elastic.co/guide/en/kibana/6.8/createvis.html)

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 23, 2020, 9:01am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/14 "2020-06-23T09:01:21Z")

</div>

Bonjour,

votre intervention m´a donné plusieurs piste mais j´ai pas pu depuis hier trouver une solution pour le l´echec du parsing du message.

1- J´ai modifier ma logstash config file en changeant le Codec en Plain, ensuite en Rudydebug mais le (tags : jsonparsefailure) est toujours là.

Quelqu´un sait comment je peux résoudre ce Probleme?

2- Aussi J´arrive a afficher les données que j´ai

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/f/c/fca863c164f54ae2f501e209819f78218fe38b1a.png)

{"id":"IMU1","T\_m":"2020-06-23T11:16:46.622+02:00","tmp":28.69412,"roll":-4.301277,"nick":-0.572266,"gier":-4.301277,"a\_x":0.173512,"a\_y":-0.092658,"a\_z":-9.605276}

Le probleme est que je veux avoir un des attributs du message par exemple roll oubien nick dans l´axe des ordonnées (y) au lieu d´avoir count ou autre agrégation. comment puis le faire car tout les tutoss que j´ai regardé utilisent toujours l´agregation (soit count, average ...)

Merci

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [June 23, 2020, 10:13am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/15 "2020-06-23T10:13:40Z")

</div>

Oui mais des lors que le parsing de ton message n'est pas fait, tu n'auras pas les cités.  
Règles déjà le problème de jsonparsefaillure. ( je sais pas comment tu indexes tes donnes)  
Essaies de partir sur un exemple simple et aller petit à petit.

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [June 23, 2020, 10:19am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/16 "2020-06-23T10:19:23Z")

</div>

> [@Gerard\_Kamp](#):
>
> codec =\>"json"

C'est plutôt `codec => json` sans " "

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 23, 2020, 10:21am UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/17 "2020-06-23T10:21:13Z")

</div>

je vais vous renvoyez mon logstash peut etre ca pourra aider.

input{

kafka{  
bootstrap\_servers =\> "localhost:9092"  
topics =\> ["mqtt.imu"]  
codec =\>"json"  
}  
}

output{  
stdout{  
codec =\> "plain"  
}

elasticsearch{  
hosts =\> ["localhost:9200"]  
index =\> "mqtt.imu"  
}  
}

ais-je omis quelque chose? ou dois-je ajouter quelque chose dans ma config file?

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 24, 2020, 12:26pm UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/18 "2020-06-24T12:26:06Z")

</div>

OK , merci.

Je vous réexplique:

J´ai des données envoyées par MQTT (mosquito broker) à Kafka et ses donnees arrivent comme suit:  
Essen/IMU/IMU01 {"id":"IMU1","T\_m":"2020-06-24T11:55:29.660+02:00","tmp":29.77647,"roll":-3.922252,"nick":-1.565254,"gier":-3.922252,"a\_x":0.066918,"a\_y":-0.128297,"a\_z":-9.579341}

Ensuite J´ai connecté Kafka a Elasticsearch a travers Logstash avec la configuration suivante:  
input{

kafka{  
bootstrap\_servers =\> "localhost:9092"  
topics =\> ["mqtt.imu"]  
}  
}

output{  
stdout{  
codec =\> json  
}

elasticsearch{  
hosts =\> ["localhost:9200"]  
index =\> "mqtt.imu"  
}  
}

Les donnees s´affiche comme suit sur Logstash:

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/9/c/9cdf2ed9fd2bbfc08563f99c351e4537f804fdac.png)  
avec ce Json::parserError mais les données s´affiche sur Kibana et comme suit

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/1/6/16a6d60dae94b5a4e93476e86a00f7bb780fe9cd.png)

jai creer les index sur kibana avec : "create index pattern"

Merci

---

<div class="post-metadata">

**Author:** ![Gerard\_Kamp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gerard_kamp/32/70139_2.png) [@Gerard\_Kamp](https://discuss.elastic.co/u/Gerard_Kamp)\
**Post date:** [June 24, 2020, 12:41pm UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/19 "2020-06-24T12:41:56Z")

</div>

J´ai changé le codec =\> **json** en codec =\> **plain** et je n´ai plus l´erreur **"jsonparsefaillure**"  
Les donnees au niveau de Logstash s´affiche comme suit:

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/8/6/86d52d287579ff1fe37a264f0bb58e9d0b7e418a.png)  
et les données au niveau de Kibana s´affiche comme suit:  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/b/d/bdfaa93210093899e9272fe41efd03b7ecc4f0a5.png)

Maintenant le Probleme du Parser est résolu. Quelle est la prochaine étape?

Merci

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [June 24, 2020, 1:51pm UTC](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890/20 "2020-06-24T13:51:57Z")

</div>

il faut que tu parses ton champs message en sous champs que tu dois déclarer.  
Lien qui pourrait t'aider : [https://www.elastic.co/guide/en/logstash/current/plugins-filters-json.html](https://www.elastic.co/guide/en/logstash/current/plugins-filters-json.html)

[Next page](https://discuss.elastic.co/t/envoyer-du-json-dans-elastic-stack/236890.md?page=2)