# ElasticsearchにWebページをクローリングしたい **URL:** \ **Category:** 日本語による質問・議論はこちら\ **Created:** [May 20, 2020, 10:56am UTC](https://discuss.elastic.co/t/elasticsearch-web/233509 "2020-05-20T10:56:58Z")\ **Posts on this page:** 4\ **Page:** 1
**Author:** ![s-hatanaka](https://avatars.discourse-cdn.com/v4/letter/s/c68b51/32.png) [@s-hatanaka](https://discuss.elastic.co/u/s-hatanaka)\ **Post date:** [May 20, 2020, 10:56am UTC](https://discuss.elastic.co/t/elasticsearch-web/233509/1 "2020-05-20T10:56:58Z")
社内のファイル検索にElasticsearchを利用させて頂いています。 社内のWebサイト（インターネットからは閲覧不可）情報も含めて横断検索できるようにするとより便利になるかなと考えておりまして、気軽にクローリングして、検索できるかどうかを試したいと思っています。 認証必要なページは不必要なページがありますが、まずは不必要なページから試したいと思っています。 ElasticStackのBeatsやLogstashを利用してWebサイトの情報をクローリングできるとよいのかなと思い、下記を確認すると、Webサイトのクローラに利用できそうなものは軽く閲覧した限りでは、なさそうにもみえました。 オススメな方法などあれば情報連携頂きたいです。。。！ （BeatsやLogstashを利用しない方法でも構いません。それらを利用する方法だと、簡単に試せるのでうれしいですが） □少し確認してみた情報 [https://www.elastic.co/guide/en/logstash/current/input-plugins.html](https://www.elastic.co/guide/en/logstash/current/input-plugins.html) →プラグインは簡単に確認してみました。 [https://www.elastic.co/guide/en/beats/libbeat/7.7/beats-reference.html](https://www.elastic.co/guide/en/beats/libbeat/7.7/beats-reference.html) →各種beatsやmodulesは簡単に確認してみました ---
**Author:** ![tsgkdt](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/tsgkdt/32/39151_2.png) [@tsgkdt](https://discuss.elastic.co/u/tsgkdt)\ **Post date:** [May 20, 2020, 12:39pm UTC](https://discuss.elastic.co/t/elasticsearch-web/233509/2 "2020-05-20T12:39:20Z")
Webサイトのクローリングというようとの製品だと、まずこちらが思い浮かぶところです。 > **[マネージドのWebサイト向け検索エンジン | Elastic](https://www.elastic.co/jp/site-search)** > > Site Searchは高速でカスタマイズに対応、さらに高い関連性の結果を表示するマネージドの検索エンジンです。Elasticsearchのテクノロジーで駆動し、わずか数分で組み込むことができます。 なるべく手を動かさずに・・・という場合はElasticsearchを使っているFessもアリかと思います。 > **[オープンソース全文検索サーバー Fess](https://fess.codelibs.org/ja/)** > > Fess (フェス) は「5 分で簡単に構築可能な全文検索サーバー」です。 Java 実行環境があればどの OS でも実行可能です。 Fess は Apache ライセンスで提供され、無料 (フリーソフト) でご利用いただけます。 クローラーがついてます。 最近ではクローラーのライブラリがあるので、それを使った自作プログラムとIngestNodeと組み合わせも考えられます。（私はCrawler4jで試してました） 差分管理やリンクの深さなどの制約がない場合には、簡易に試せる方法かもしれません。（手を動かす必要はありますが。。。） ご参考になれば。 ---
**Author:** ![s-hatanaka](https://avatars.discourse-cdn.com/v4/letter/s/c68b51/32.png) [@s-hatanaka](https://discuss.elastic.co/u/s-hatanaka)\ **Post date:** [June 5, 2020, 1:45am UTC](https://discuss.elastic.co/t/elasticsearch-web/233509/3 "2020-06-05T01:45:27Z")
@tsgkdt ありがとうございます。参考になりました。 BeatsやLogstashに機能があれば、ElasticStackの構想にも合うのかなと思っているのですが、今はなさそうですね。ご提示頂いたような、別のサービスやソフトウェアを適用する方向性で進めようと思います。 ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [July 3, 2020, 1:53am UTC](https://discuss.elastic.co/t/elasticsearch-web/233509/4 "2020-07-03T01:53:04Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.