Paramétrage du nombre de replica dans FSCrawler

Elastic Stack Elasticsearch
1

Bonjour,
J'aimerais savoir si avec FSCrawler, y'a un moment de paramétrer le nombre de réplica parce que j'ai constaté qu'on peut paramétrer le nombre de shard dans les settings.

2

Oui. Voici par exemple comment faire: https://fscrawler.readthedocs.io/en/latest/admin/fs/elasticsearch.html#creating-your-own-mapping-analyzers

3

Merci à vous pour vos retours.
J'ai déjà eu a refaire mon propre mapping, number_of_shards m'a permis de pouvoir augmenter mon nombre de shards à 3.
Mais pour le nombre de replica, je suis toujours pas arrivé à cerner comment modifier le fichier _setttings.json pour le redéfinir.

4

je passe finalement par kibana pour modifier mon nombre de shards et de replica comme suit :

PUT nom_index
{
    "settings" : {
        "index" : {
            "number_of_shards" : 3, 
            "number_of_replicas" : 3
        }
    }
}```  

Et dans  mon fichier .fscrawler/_default/6/_settings.json j'ai juste défini "number_of_shards": 3,
Mais après une dizaine de fichier indexés(exactement 70 fichiers ), je me retrouve avec cette erreur 

```14:34:57,282 e[33mWARN e[m [f.p.e.c.f.FsParserAbstract] Can't find stored field name to check existing filenames in path [/tmp/es]. Please set store: true on field [file.filename]
14:34:57,283 e[33mWARN e[m [f.p.e.c.f.FsParserAbstract] Error while crawling /tmp/es: Mapping is incorrect: please set stored: true on field [file.filename].
14:34:57,283 e[33mWARN e[m [f.p.e.c.f.FsParserAbstract] Full stacktrace
java.lang.RuntimeException: Mapping is incorrect: please set stored: true on field [file.filename].
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.getFileDirectory(FsParserAbstract.java:382) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.addFilesRecursively(FsParserAbstract.java:317) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.addFilesRecursively(FsParserAbstract.java:299) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.addFilesRecursively(FsParserAbstract.java:299) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.addFilesRecursively(FsParserAbstract.java:299) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.addFilesRecursively(FsParserAbstract.java:299) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.addFilesRecursively(FsParserAbstract.java:299) ~[fscrawler-core-2.6.jar:?]
	at fr.pilato.elasticsearch.crawler.fs.FsParserAbstract.run(FsParserAbstract.java:157) [fscrawler-core-2.6.jar:?]
	at java.lang.Thread.run(Unknown Source) [?:1.8.0_191]
14:34:57,292 e[32mINFO e[m [f.p.e.c.f.FsParserAbstract] FS crawler is stopping after 1 run
14:34:57,346 e[36mDEBUGe[m [f.p.e.c.f.FsCrawlerImpl] Closing FS crawler [job]
14:34:57,347 e[36mDEBUGe[m [f.p.e.c.f.FsCrawlerImpl] FS crawler thread is now stopped
14:34:57,347 e[36mDEBUGe[m [f.p.e.c.f.c.v.ElasticsearchClientV6] Closing Elasticsearch client manager
14:35:00,699 e[36mDEBUGe[m [f.p.e.c.f.FsCrawlerImpl] ES Client Manager stopped
14:35:00,699 e[32mINFO e[m [f.p.e.c.f.FsCrawlerImpl] FS crawler [job] stopped
14:35:00,712 e[36mDEBUGe[m [f.p.e.c.f.FsCrawlerImpl] Closing FS crawler [job]
14:35:00,712 e[36mDEBUGe[m [f.p.e.c.f.FsCrawlerImpl] FS crawler thread is now stopped
14:35:00,712 e[36mDEBUGe[m [f.p.e.c.f.c.v.ElasticsearchClientV6] Closing Elasticsearch client manager
14:35:00,712 e[36mDEBUGe[m [f.p.e.c.f.FsCrawlerImpl] ES Client Manager stopped
14:35:00,712 e[32mINFO e[m [f.p.e.c.f.FsCrawlerImpl] FS crawler [job] stopped

Merci à vous de me dire où se situe mon erreur
Cdt,

5

Tu n'as pas repris certains éléments imposés quand tu as fait ton mapping personnalisé.
Il faut que tu prennes un mapping type et que tu l'ajustes sans pour autant enlever les champs nécessaires.

6

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.