# Charger des données de mysql vers Elasticsearch en presque temps réel

**URL:** <https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471>\
**Category:** Discussions en français\
**Created:** [January 28, 2021, 9:56am UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471 "2021-01-28T09:56:07Z")\
**Posts on this page:** 6\
**Page:** 1

<div class="post-metadata">

**Author:** ![joseph\_vdsmart](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/joseph_vdsmart/32/83036_2.png) [@joseph\_vdsmart](https://discuss.elastic.co/u/joseph_vdsmart)\
**Post date:** [January 28, 2021, 9:56am UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471/1 "2021-01-28T09:56:07Z")

</div>

Salut à tous,  
j'aimerais recupérer les données de mysql et les envoyer dans elasticsearch.  
Je dois mettre à jour les donnée d'elasticsearch a chaque nouvelle entrée en base de donnée.  
Est-ce que je peux détecter des mises à jour sur l'ensemble de la base de donnée ou je dois écouter table après table?  
J'utilise elasticsearch 7.10.1; kibana 7.10.1; Logstash 7.10.2  
merci

---

<div class="post-metadata">

**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\
**Post date:** [January 28, 2021, 10:35am UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471/2 "2021-01-28T10:35:42Z")

</div>

Bonjour,  
Déjà tu peux récupérer les données périodiquement.  
Ensuite, je vois qu'il y'a une option "tracking\_column " qui pourrait répondre à ton besoin.  
lien : ([https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html](https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html))[https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html](https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html)

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [January 28, 2021, 1:21pm UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471/3 "2021-01-28T13:21:01Z")

</div>

La plupart de mes idées à ce sujet sont ici

> **[Advanced search for your Legacy application - David Pilato](https://david.pilato.fr/blog/2015/05/09/advanced-search-for-your-legacy-application/)**
>
> I gave recently a talk at Voxxed Istanbul 2015 and I’d like to share here the story of this talk.
> The talk was about adding a real search engine for your legacy application. Here “legacy” means an application which is still using SQL statements to...

Souvent, je recommande de modifier la couche applicative si c'est possible et d'envoyer les documents dans la même "transaction" que celle utilisée pour mettre à jour la base de données.

J'ai abordé ce sujet ici :

[![](https://us1.discourse-cdn.com/elastic/original/3X/4/a/4a17649da6ff7119eb63cabf1bde14ffd704d5d3.jpeg "Meetup Programmez : recherche NoSQL pour votre application sql") ](https://www.youtube.com/watch?v=GDseUPw9RCg)

---

<div class="post-metadata">

**Author:** ![joseph\_vdsmart](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/joseph_vdsmart/32/83036_2.png) [@joseph\_vdsmart](https://discuss.elastic.co/u/joseph_vdsmart)\
**Post date:** [February 18, 2021, 9:26am UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471/4 "2021-02-18T09:26:03Z")

</div>

Merci j'ai utilisé cette méthode. Elle marche bien 🙂  
Seulement pour une table :(.  
J'ai regardé du coté de kafka et je vais pouvoir utiliser les topics pour récupérer toutes les tables de la BD. Ensuite je compte utiliser spark pour les envoyer dans elasticsearch :))

---

<div class="post-metadata">

**Author:** ![joseph\_vdsmart](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/joseph_vdsmart/32/83036_2.png) [@joseph\_vdsmart](https://discuss.elastic.co/u/joseph_vdsmart)\
**Post date:** [February 18, 2021, 9:32am UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471/5 "2021-02-18T09:32:43Z")

</div>

Le soucis c'est que je n'ai pas accès au code de l'application.  
Je compte donc récupérer les données déjà rendu disponible par l'application en BD.  
Ensuite je vais utiliser kafka pour les récupérer et spark pour les envoyer a elasticsearch.  
C'est un peu long mais...  
Merci pour votre réponse

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [March 18, 2021, 9:33am UTC](https://discuss.elastic.co/t/charger-des-donnees-de-mysql-vers-elasticsearch-en-presque-temps-reel/262471/6 "2021-03-18T09:33:08Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
