# \[Filebeat\] Postgres module **URL:** \ **Category:** Discussions en français\ **Created:** [March 21, 2019, 10:06am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283 "2019-03-21T10:06:18Z")\ **Posts on this page:** 15\ **Page:** 1
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [March 21, 2019, 10:06am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/1 "2019-03-21T10:06:18Z")
Bonjour à tous, Je suis débutant sur Elastic Stack, après l'installation et l'utilisation de quelques dashboards j'ai voulu intégrer quelques modules. Avec Filebeat mon problème est que je récupère des logs postgresql (en suivant ce qui est proposé dans kibana) et ensuite j'importe mon dashboard (filebeat setup) je récupère bien les logs mais impossible de les afficher.. Voici le message "d'erreur" : Provided Grok expressions do not match field value merci à tous ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [March 25, 2019, 8:03am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/2 "2019-03-25T08:03:31Z")
Bonjour, Juste au cas ou si t'as pas déjà trouvé une solution, y'a un cas qui semble similaire ici avec une date mal formatée : > [@Postgres logs not properly parsed by filebeat](https://discuss.elastic.co/t/postgres-logs-not-properly-parsed-by-filebeat/137371): > > Hi, I have started with Elastic Stack recently. My use case is to monitor multiple raspberry pis with Beats module and visualize the data in Kibana Dashboards. I tried to set up Metricbeat and filebeat on Raspi 3, it was built and was running successfully. Now when I enabled the Postgres module, the data is still sent to elasticsearch but with the error message. Separate fields which are mentioned [here](https://www.elastic.co/guide/en/beats/filebeat/master/exported-fields-postgresql.html) Here is the single packet { "\_index": "filebeat-6.2.4-2018.06.25", "\_type": "doc", "\_… ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [March 26, 2019, 1:50pm UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/3 "2019-03-26T13:50:11Z")
Merci pour ton aide! Je n'ai toujours pas de solutions, il y a bien un problème de date. Mon @Timestamp de mon json n'est pas bon, après modification et ajout de "Europe/Paris" en Timezone, l'heure change mais ne match toujours pas car il est une heure de moins que le fichier.. ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [March 27, 2019, 2:14am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/4 "2019-03-27T02:14:29Z")
Un problème a la fois. Ton poste initial été a propos d'une erreur Grok? Juste pour confirmer ce problème est résolue ? Si tu peux mettre ta solution ça peux aider d'autres personnes 😀 Si ton problème initial est résolu maintenant t'as un problème de timezone (de ce que je comprends de ta nouvelle question). La modification de Timezone a été faite dans Kibana ? Tu peux interroger directement ton index pour comprendre si l'heure dans ton index est correct si c'est le cas c'est un problème d'affichage et donc faut effectivement chercher dans la configuration de Kibana. ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [March 27, 2019, 8:17am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/6 "2019-03-27T08:17:39Z")
Alors, mon problème du début est toujours présent mais suppose que le problème viens peux être de la Timezone ? Je vous joins le screen d'une requête par Filebeat. Ce que je récupère dans mon dashboard mais qui n'est pas affiché : ![FELAS](https://us1.discourse-cdn.com/elastic/original/3X/e/f/efaba011b1d7c58a1d325fbd049df13c768a63ba.png) Le json associé, on remarque que dans "message" l'heure est bonne, mais celle ligne viens directement de mes logs avec la bonne timezone. Parcontre je sais pas si c'est normal mais plus bas le @timestamp n'est pas bon, normal ou pas du tout? Sinon comment le modifier? ![jsonfile](https://us1.discourse-cdn.com/elastic/original/3X/6/3/63f9f601e0f250732320c6687913ef9c39361ea5.png) ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [March 27, 2019, 10:09am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/7 "2019-03-27T10:09:08Z")
Je pense qu'il faut commencer par corriger l'erreur grok pour formater correctement la date. Si tu utilises Logstatsh tu peux regarder ici y'a une discussion sur comment debugger Grok: > [@Logstash - Méthode pour debugger les grokparsefailure](https://discuss.elastic.co/t/logstash-methode-pour-debugger-les-grokparsefailure/159353): > > Bonjour à tous ! Je débute depuis plusieurs heures sur le parsing des log logstash. C'est peut-être une question très anodine pour vous mais je cherche les "best practice" pour parser mes logs et surtout rechercher les erreurs. J'ai tout fraichement réalisé un pattern grok et j'arrive à découper comme je le souhaite mais j'ai toujours un tag "grokparsefailure" . Dans ce cas je conclu que mon filter n'est pas "propre" ? Quel est le moyen le plus pratique pour repérer les defaux de grokparsefai… Si c'est avec ingest (i.e sans Logstatsh) j'avais eu un problème de date avec le plugin nginx mais j'ai pas mes notes sous la main, je peux recherche comment j'ai fait pour debugger. ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [March 27, 2019, 10:16am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/8 "2019-03-27T10:16:14Z")
Je vais essayé de me mettre à logstash, je voulais éviter car je suis une bille en dev. 😅 ça marche merci de ton aide ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [March 27, 2019, 10:28am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/9 "2019-03-27T10:28:41Z")
J'utilise ingest, étant donné que je sais pas utiliser logstash ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [March 28, 2019, 4:06am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/10 "2019-03-28T04:06:33Z")
En faite je pensais avoir trouvé le graal pour debugger avec ingest mais j'avais juste suivi la doc 😅 Pas besoin de logstash ingest est suffisant (du moins pour formater la date) , faut juste que tu GET ton pipeline pour postgres et tu utilise simulate avec un doc qui contienne tes données, tu changes dans tous les sens le pipline jusqu'a ce que ça passe. 😀 La doc est suffisamment claire et avec la dernière version t'as beaucoup plus de processors. Désolé de pas aider plus. la doc pour debugger [https://www.elastic.co/guide/en/elasticsearch/reference/current/simulate-pipeline-api.html](https://www.elastic.co/guide/en/elasticsearch/reference/current/simulate-pipeline-api.html) la liste des processors [https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest-processors.html](https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest-processors.html) ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [March 28, 2019, 8:47am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/11 "2019-03-28T08:47:07Z")
J'ai du mal à comprendre, en gros je GET mon pipeline (GET \_ingest/pipeline), mais je vois pas trop comment exécuter le simulate et à quoi il sert? c'est simplement pour tester non? en gros je fais la simulate avec mes conditions derrière ? ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [March 31, 2019, 3:53pm UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/12 "2019-03-31T15:53:47Z")
le get ingest pipeline doit te retourner le pipeline pour postgres un truc du genre filebeat-1.2.3-postgres-abc avec une définition des filtres > { > "description": "Blablabla.", > "processors": [ > { > "grok": { > ..... Tu fais une requete simulate avec la définition et un document comme explique dans la doc. Ca devrait te renvoyer le même message que ton premier post > Provided Grok expressions do not match field value A partir de la et avec l'aide des processors tu devrais pouvoir debuger et adapater a ton format de donnees une fois que ton simulate te retourne une réponse satisfaisante tu update ton pipeline. J’espère que j'ai été claire dans mes expliquements... 🤨 ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [April 1, 2019, 2:39pm UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/13 "2019-04-01T14:39:52Z")
Merci de ton aide je vais essayer ça, je te redis demain 🙂 ---
**Author:** ![YoubaYT](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youbayt/32/42493_2.png) [@YoubaYT](https://discuss.elastic.co/u/YoubaYT)\ **Post date:** [April 2, 2019, 9:51am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/14 "2019-04-02T09:51:35Z")
J'arrive bien avec le GET, je récupère bien les filtres, par contre pour le document je suis perdu. Screen de mes commandes : ![forum](https://us1.discourse-cdn.com/elastic/original/3X/6/7/67046fce29e9d3e3da256babb31ca797cb9e7578.png) Ou dois-je mettre le "doc" ? Sous quel format ? Car quand je rentre le chemin (/var/..etc ) une erreur apparait. Merci de ton aide ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [April 8, 2019, 3:08am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/15 "2019-04-08T03:08:39Z")
Si tu suis la doc tu devrai avoir ce format: ``` POST _ingest/pipeline/_simulate { "pipeline" : { // pipeline definition here }, "docs" : [ { "_source": {/ **first document** /} }, { "_source": {/ **second document** /} }, // ... ] } ``` D'ailleurs d’après ta capture d’écran l'erreur te dis qu'il manque la propriété docs, tu rajoutes ton doc comme ci-dessus. Si t'avais copié un contenu au lieu de mettre une capture d’écran j'aurai pu copier coller et formater un exemple... Pour ta commande utilise: POST \_ingest/pipeline/\_simulate au lieu de POST \_ingest/pipeline/filebeat-6.6...... Je ne sais pas quel définition de pipeline va être prise en compte... bref vaut mieux être bête et discipliné et suivre la syntaxe de la doc. Désolé si je ne suis pas assez claire j'ai du omettre des phases et c'est pas évident quand on débute, hésite pas a redemander. Si tu copie du code ça sera plus facile pour t'aider que les captures d’écran. ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [May 6, 2019, 3:08am UTC](https://discuss.elastic.co/t/filebeat-postgres-module/173283/16 "2019-05-06T03:08:41Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.