Docker / Bitnami/Elacticsearch / Pb d'upload

[Phildefer]

Bonjour, je débute sur ELK que j'ai installé via 3 containers docker (binami) sur mon NAS par l'intermédiaire de l'outil Portainer. J'ai pour le moment configuré Kibana qui voit le serveur Elasticsearch. Logstash tourne mais pas sur qu'il voit Elasticsearch . Je rencontre un pb dans Kibana. Quand je souhaite uploader un fichier (csv par exemple) l'indexation fonctionne mais le process d'import s'arrête à l'upload (unkown error) quelle que soit la taille du fichier. Par contre quand je charge les données d'exemple tout fonctionne. Qqun aurait il une idée ?
Merci

[dadoonet (David Pilato)]

Bonjour

Quelle version de la stack ?
Y a t'il quelque chose dans les logs Elasticsearch ou Kibana ?

[Phildefer]

C'est la version 7.16
J'ai fait un nouvel essai avec d'autres données (dans map elles s'affichent) mais dès que l'on import upload impossible : {
"success": false,
"failures": ,
"docCount": 8906,
"error": {
"success": false,
"error": {
"name": "ResponseError",
"meta": {
"body": {
"error": {
"root_cause": [
{
"type": "illegal_state_exception",
"reason": "There are no ingest nodes in this cluster, unable to forward request to an ingest node."
}
],
"type": "illegal_state_exception",
"reason": "There are no ingest nodes in this cluster, unable to forward request to an ingest node."
},
"status": 500
},

[Phildefer]

mon yml
http:
port: "9200"
path:
data: /bitnami/Elasticsearch/data
transport:
tcp:
port: "9300"
network:
bind_host: 0.0.0.0
node:
name: ELK
master: "true"
data: "true"
ingest: "false"
discovery:
type: single-node
xpack:
ml:
enabled: "false"

Je crois que je viens de trouver le pb ....

[dadoonet (David Pilato)]

Oui !

[Phildefer]

Merci en tout cas. Je vais m'attaquer à logstash : le faire fonctionner déjà et ingestion de flux rss et de tweet je sens que je vais galérer

[dadoonet (David Pilato)]

J'avais fait un très vieil article à ce sujet :

http://david.pilato.fr/blog/2015/06/01/indexing-twitter-with-logstash-and-elasticsearch/

[Phildefer]

Merci ! Je vais lire ça attentivement.
Pour le moment je me débats avec les données géographiques au format geojson. La preview après l'upload est bonne mais dès que l'on importe les données et les indexe la latitude et la longitude sont inversées ...

[dadoonet (David Pilato)]

Ca dépend du format utilisé. Tableau, Objet, String... Voir Geopoint field type | Elasticsearch Guide [7.16] | Elastic

[Phildefer]

Bonjour,

En fait ce sont des fichiers geojson divers (quelle que soit la source j'en ai essayés plusieurs ici par exemple qui fonctionnent correctement lorsqu'on les affiche dans map pour les visualiser mais dès qu'il ont été indexés et importés l'affichage intervertit lat et long. Tous les fichiers geojson génèrent ce même problème alors qu'ils s'affichent correctement dans un logiciel de carto (Qgis par exemple) N'y aurait il pas un bug lors de l'indexation ?

[Phildefer]

Pour info il faut repasser par un soft de carto (comme Qgis) transformer le geojson en un autre format (shp par exemple) puis réexporter en geojson et dans ce cas l'indexation fonctionne. J'ai l'impression que l'import du geojson dans ELK est très pointilleuse...

[Phildefer]

Je me permets de pousser ce fil mais au besoin je peux en faire un nouveau. J'ai mis en place deux pipelines via deux fichiers conf. Un va chercher un flux rss l'autre des tweets. Dans les deux j'ai une variable de type index différentes pour différencier évidement les données recueillies :

fichier conf 1 (rss)
input {
rss {
url => "https://feeds.xxxxxxx"
interval => 84600
}
}

output {
stdout { }

Elasticsearch {
user => "elastic"
password => "xxxxx"
hosts => ["192.168.1.100:9200"]
index => "rss"
}
}

fichier conf 2 (twitter) :
input {
twitter {
consumer_key => "xxx"
consumer_secret => "xxxxx"
oauth_token => "xxxxxx"
oauth_token_secret => "xxxxxx"
keywords => ["xxxx", "xxxxx", "xxxx", "xxxx"]
ignore_retweets => true
full_tweet => true
}
}

filter {
}

output {
stdout { }
Elasticsearch {
user => "elastic"
password => "xxxxx"
hosts => ["192.168.1.100:9200"]
index => "twitter"
document_type => "tweet"
}
}

Le pb lorsque les deux fichiers de conf sont dans pipeline, l'indice twitter dans kibana se retrouve avec les éléments de l'indice rss.

Je ne comprends pas trop le souci sachant que testés individuellement tout fonctionne.

Si qqun a une idée.

Merci.