定期的にファイルサーバー内のファイルの中身をElasticsearchでインデックス化したいのですが、インデックス化対象のファイルにはCADファイル(複数形式)があり、作り込みが必要と考えています。
機能拡張可能なクローラ？またはLogstashのプラグインを作成？など情報があれば教えて頂きたいと思います。
CADファイル（複数形式）のところについて
既にご存知かもしれませんが、
ElasticsearchのIngestNodeでファイルからテキストを抽出するのには、Apache Tikaを使っています。
The ingest attachment plugin lets Elasticsearch extract file attachments in common formats (such as PPT, XLS, and PDF) by using the Apache text extraction library Tika.
また、ファイルサーバのクローラ実装の多くは、Apache TikaやPOIをご利用のようなので、まずIndex対象となっているCADファイルのそれぞれの形式が、Tikaで期待するテキストが抽出できるかを確認されるのが良いと思います。
そこで、Tikaじゃ対応していない形式だ！ 期待するテキストが取れてない！
となりましたら、他のテキスト抽出方法を検討することになるでしょう。
例えば、こういう製品なんかもあります。
これを、ファイルサーバのクローラの選定の前にまず確認しておいた方が良いかなと思いました。
参考になれば幸いです。
ありがとうございます。
Tikaでは期待した情報が取得できないものもあるようなので、まずはそこをどうするか検討したいと思います。
クローラーはこんなものもあります。参考になればと。
https://fscrawler.readthedocs.io/en/fscrawler-2.5/
残念ながらCADの形式がどんなもので、どのような検索をしたいのかがわかりませんが。。。
JSONやXMLにすればファイルをクロールするといったことが可能です。
もしくは、Tikaを使うパターンなども。
ありがとうございます。
事前にCADファイルから必要な情報をJSONやXMLで抜き出し、ファイルで保存。
クローラが拾ってインデックス化という事でしょうか。
事前に情報を抜き出せない場合、クロール時にクローラの機能を拡張して特定のファイルからは必要な情報を抜き出してインデックス化する事も可能でしょうか？
このクローラーが対応してるかどうかはドキュメントやソースを読んでみていただくのがいいかなぁと。
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.