Kibana / ajout données csv à un index existant

[Phildefer]

Bonjour,

Je suis sans doute stupide mais je ne trouve pas le moyen d'ajouter des données (un fichier csv) à un index existant et mappé grâce à l'import via Kibana d'un fichier CSV équivalent. En gros le premier fichier contenait les données jusqu'à une certaine date et ce nouveau fichier vient compléter les données précédentes avec des données à des dates postérieures. Lorsque l'on utilise l'intégration "Upload a file" on ne peut que créer un nouvel index or je souhaite juste ajouter des données à un index existant.
Pourriez vous m'indiquer une procédure via Kibana svp ?
Merci.

[dadoonet (David Pilato)]

Bonne question.

Je ne sais pas si cela est possible.

[Phildefer]

Ah mince
En fait naïvement je pensais que comme lorsque je fais tourner logstash pour alimenter un index qui stocke des tweets, on pouvait alimenter un index via l’import de csv caractérisés par une progression temporelle. Donc si je comprends bien un index est figé une fois créé ?
Merci

[Phildefer]

Bonjour,

J'ai un peu avancé : Avec logstash et le plugin file on peut injecter des données dans un index prééxistant. Mon pb est que le mapping qui a été utilisé n'est pas celui lié à l'index voulu mais à un autre process logstash qui tourne. Du coup il y a un petit mélange des genres ....
Peut on préciser le mapping à utiliser dans le fichier conf de Logstash ?
Merci.

[ahmed_charafouddine]

Oui, en utilisant les template

[Phildefer]

Bonjour Ahmed, effectivement j’ai créé un index template dans Kibana en me basant sur l’index visé et dans logstah.conf je précise que je souhaite l’utiliser comme indiqué ici :
Manage_Template => true
Template_name => “montemplate”
Template_overwrite => false

Mais rien n’y fait …

J’ai une interrogation : lors de la création du template dans kibana il est demandé de donner l’index sur lequel il est basé. Une fois créé par contre la partie mapping est vide. Est ce normal ?

Merci

[Phildefer]

Je tente d'ajouter ce code pour déterminer le mapping

"template_acledtemplate": {
    "template": "acledtemplate",
    "mappings": {
      "properties": {
        "actor1": {
          "type": "keyword"
        },
        "actor2": {
          "type": "keyword"
        },
        "admin1": {
          "type": "keyword"
        },
        "admin2": {
          "type": "keyword"
        },
        "admin3": {
          "type": "keyword"
        },
        "assoc_actor_1": {
          "type": "keyword"
        },
        "assoc_actor_2": {
          "type": "keyword"
        },
        "country": {
          "type": "keyword"
        },
        "data_id": {
          "type": "long"
        },
        "event_date": {
          "type": "date",
          "format": "iso8601"
        },
        "event_id_cnty": {
          "type": "keyword"
        },
        "event_id_no_cnty": {
          "type": "long"
        },
        "event_type": {
          "type": "keyword"
        },
        "fatalities": {
          "type": "long"
        },
        "geo_precision": {
          "type": "long"
        },
        "inter1": {
          "type": "long"
        },
        "inter2": {
          "type": "long"
        },
        "interaction": {
          "type": "long"
        },
        "iso": {
          "type": "long"
        },
        "iso3": {
          "type": "keyword"
        },
        "latitude": {
          "type": "double"
        },
        "latitude_longitude": {
          "type": "geo_point"
        },
        "location": {
          "type": "text"
        },
        "longitude": {
          "type": "double"
        },
        "notes": {
          "type": "text"
        },
        "point_location": {
          "type": "geo_point"
        },
        "region": {
          "type": "keyword"
        },
        "source": {
          "type": "text"
        },
        "source_scale": {
          "type": "keyword"
        },
        "sub_event_type": {
          "type": "keyword"
        },
        "time_precision": {
          "type": "long"
        },
        "timestamp": {
          "type": "date",
          "format": "epoch_second"
        },
        "year": {
          "type": "long"
        }
      }
    }
  }
}

mais j'ai ce message :