# 日本語による質問・議論はこちら **URL:** https://discuss.elastic.co/c/in-your-native-tongue/japanese/18.md?page=6 [Latest](https://discuss.elastic.co/latest.md) · [Categories](https://discuss.elastic.co/categories.md) · [Tags](https://discuss.elastic.co/tags.md) **Page:** 7 --- ## [ElasticsearchにWebページをクローリングしたい](https://discuss.elastic.co/t/elasticsearch-web/233509)
**Author:** [@s-hatanaka](https://discuss.elastic.co/u/s-hatanaka)\ **Replies:** 2\ **Last updated:** [June 5, 2020, 1:45am UTC](https://discuss.elastic.co/t/elasticsearch-web/233509 "2020-06-05T01:45:27Z")
社内のファイル検索にElasticsearchを利用させて頂いています。 社内のWebサイト（インターネットからは閲覧不可）情報も含めて横断検索できるようにするとより便利になるかなと考えておりまして、気軽にクローリングして、検索できるかどうかを試したいと思っています。 認証必要なページは不必要なページがありますが、まずは不必要なページから試したいと思っています。 ElasticStackのBeatsやLogstashを利用してWe… --- ## [ビジュアライゼーションでソート順が崩れる](https://discuss.elastic.co/t/topic/235044)
**Author:** [@masahiro](https://discuss.elastic.co/u/masahiro)\ **Replies:** 2\ **Last updated:** [June 4, 2020, 11:16pm UTC](https://discuss.elastic.co/t/topic/235044 "2020-06-04T23:16:35Z")
Kibanaのvisualization（Vertical Bar）で指定したソート順（アルファベット順）が フィルタを追加したときに崩れてしまします。 社内のデータで発生しているのですが、公開されているデータでも再現しました。 回避策があれば、ご教示ください。 環境： Kibana version: 7.7.0 OS version: Windows 10 Home 1903 Browser version: Googl… --- ## [Logstashからsyslog転送されるときのフォーマット](https://discuss.elastic.co/t/logstash-syslog/235103)
**Author:** [@t-nakata](https://discuss.elastic.co/u/t-nakata)\ **Replies:** 1\ **Last updated:** [June 3, 2020, 12:47pm UTC](https://discuss.elastic.co/t/logstash-syslog/235103 "2020-06-03T12:47:16Z")
logstashでoutputにsyslogを指定した際、転送先のサーバーでログに出力されるフォーマットの変更方法についてご教示ください ■実施内容 ●logstashのconfファイル input { file{ path =\> "/tmp/test.log" start\_position =\> "beginning" } } output{ syslog{ host =\> "XXXXXXXX.com" por… --- ## [Logstash停止時の挙動がバージョンにより異なる](https://discuss.elastic.co/t/logstash/234851)
**Author:** [@t-nakata](https://discuss.elastic.co/u/t-nakata)\ **Replies:** 1\ **Last updated:** [June 2, 2020, 10:54am UTC](https://discuss.elastic.co/t/logstash/234851 "2020-06-02T10:54:52Z")
logstashを7.6から7.7にバージョンアップしました。 logstashをsystemctlコマンドで停止し、systemctl statusでステータスを確認したときの挙動と、ログの出力のされ方が7.6と7.7にで異なります。 7.6は正常に停止しているように見えるのですが、7.7は停止後のステータスがfailedになっており、停止時に何らかの異常が発生しているように見えます。原因について分かりますでしょうか？ 以下に、… --- ## [【logstash】WARN LazyDelegatingGaugeについて](https://discuss.elastic.co/t/logstash-warn-lazydelegatinggauge/233051)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 2\ **Last updated:** [May 28, 2020, 4:31am UTC](https://discuss.elastic.co/t/logstash-warn-lazydelegatinggauge/233051 "2020-05-28T04:31:14Z")
お世話になります。 logstashにて、以下のWARNログが発生しました。 \[WARN \]\[org.logstash.instrument.metrics.gauge.LazyDelegatingGauge\]\[パイプライン名\] A gauge metric of an unknown type (org.jruby.RubyArray) has been create for key: cluster\_uuids. This ma… --- ## [Logstash translateのdictionaryについて](https://discuss.elastic.co/t/logstash-translate-dictionary/232554)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 2\ **Last updated:** [May 28, 2020, 4:30am UTC](https://discuss.elastic.co/t/logstash-translate-dictionary/232554 "2020-05-28T04:30:30Z")
お世話になります。 logstashのtranslateについてご質問させて頂きます。 dictionary\_pathにyamlファイルを指定しているのですが、 ファイルが更新されたことが分かる方法はありますでしょうか？ 以下ログには更新されず、他のログに追記される等ありましたらご教示頂きたいです。 /var/log/logstash/logstash-plain.log 以上、宜しくお願い致します。 --- ## [【Visualize】同率順位を全て表示する方法](https://discuss.elastic.co/t/visualize/232146)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 2\ **Last updated:** [May 28, 2020, 4:29am UTC](https://discuss.elastic.co/t/visualize/232146 "2020-05-28T04:29:44Z")
お世話になります。 Visualizeのbar charts(横棒グラフ)にて、 項目の値のTOP10を表示しようとしています。 バケットにて、順序…降順、サイズ…10を設定したところ、 同率順位の値が複数あった場合に、10個の値しか表示されずそれ以降は表示されません。 例）I,J,Kが同じ件数であるため全て表示させたいがKが表示されない 同率順位が複数あった場合に全てグラフ表示する方法はありますでしょうか？ 有識者の… --- ## [Numeric が出るはずのbuckets\_pathにおけるgot: \[Object\[\]\]エラーについて](https://discuss.elastic.co/t/numeric-buckets-path-got-object/233699)
**Author:** [@111341](https://discuss.elastic.co/u/111341)\ **Replies:** 7\ **Last updated:** [May 22, 2020, 7:19am UTC](https://discuss.elastic.co/t/numeric-buckets-path-got-object/233699 "2020-05-22T07:19:39Z")
お世話になります。質問させていただきます。 現在、aggsで出力された中央値を条件に使おうとしています。 サンプルクエリでは、中央値の出力までは出来ていますが、計算に使おうとすると、 "type": "aggregation\_execution\_exception", "reason": "buckets\_path must reference either a number value or a single val… --- ## [Watcherで割合をしきい値にしたり、出力したりする方法](https://discuss.elastic.co/t/watcher/233636)
**Author:** [@hashimoto](https://discuss.elastic.co/u/hashimoto)\ **Replies:** 1\ **Last updated:** [May 21, 2020, 6:12am UTC](https://discuss.elastic.co/t/watcher/233636 "2020-05-21T06:12:07Z")
現在nginxのアクセスログを蓄積しており過去n分間の取引のうち処理時間(duration.rpが当たります)m秒以上がx%以上だったら警告というような運用を考えています。 データとして以下のようにn秒以上の件数をすべて抜き出し0秒以上の全件で割れば算出できるのではと考えましたがctx.payload.aggregations.duration\_sla.bucketsの個別の要素へのアクセス方法と計算処理をどこに書けばよいかがいまいち… --- ## [Translateのdictionaryファイルのリロード](https://discuss.elastic.co/t/translate-dictionary/233047)
**Author:** [@t-nakata](https://discuss.elastic.co/u/t-nakata)\ **Replies:** 1\ **Last updated:** [May 21, 2020, 3:43am UTC](https://discuss.elastic.co/t/translate-dictionary/233047 "2020-05-21T03:43:00Z")
logstashのtranslateにおけるdictionaryファイルのリロードについて質問させてください。 logstashでtranslateを使用する場合、デフォルトでは300秒ごとにdictionaryファイルをリロードする動作をする認識です。(refresh\_intervalの設定) 参考 https://www.elastic.co/guide/en/logstash/current/plugins-filters-… --- ## [表示値を別フィールドの値にする](https://discuss.elastic.co/t/topic/229404)
**Author:** [@hashimoto](https://discuss.elastic.co/u/hashimoto)\ **Replies:** 2\ **Last updated:** [May 21, 2020, 2:44am UTC](https://discuss.elastic.co/t/topic/229404 "2020-05-21T02:44:09Z")
グラフを作成する際にX軸をユーザIDで分割するさいに軸に表示される値をユーザ名にするような方法はありますでしょうか。 Kibanaは 6.8.2です。 --- ## [Elasticsearchのクラスター再起動後、index templateが消失する](https://discuss.elastic.co/t/elasticsearch-index-template/229007)
**Author:** [@Negi700](https://discuss.elastic.co/u/Negi700)\ **Replies:** 2\ **Last updated:** [May 18, 2020, 12:24pm UTC](https://discuss.elastic.co/t/elasticsearch-index-template/229007 "2020-05-18T12:24:34Z")
Kubernetesを使って、Elasticseachのクラスター(Masterノード3台、dateノード3台)をデプロイしています。 クラスターの全6台を再起動後、index templateを確認するとすべて消失しています。 そのため、再起動後、index templateを再作成しています。 原因と対処、回避策などありましたらご教示をお願いします。 Elasticseachのバージョン 6.5.4 --- ## [pipelineでScriptException発生](https://discuss.elastic.co/t/pipeline-scriptexception/231454)
**Author:** [@t-nakata](https://discuss.elastic.co/u/t-nakata)\ **Replies:** 2\ **Last updated:** [May 18, 2020, 7:20am UTC](https://discuss.elastic.co/t/pipeline-scriptexception/231454 "2020-05-18T07:20:04Z")
Elastic Cloudのコンソールログにて、以下のWARNが継続して発生しております。データ登録等の動作は問題ないように見えます。 原因をご教示頂けないでしょうか。 \[instance-0000000024\] failure parsing pipeline config \[ddi\] org.elasticsearch.script.ScriptException: compile error at org.elasticse… --- ## [Index名に設定している日付が9時間ずれている](https://discuss.elastic.co/t/index-9/232524)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 2\ **Last updated:** [May 14, 2020, 11:26pm UTC](https://discuss.elastic.co/t/index-9/232524 "2020-05-14T23:26:12Z")
お世話になります。 ingest nodeのdate\_index\_name processorを使用してindex名を設定しています。 以下のように、 投入データの@timestamp(UTC)からdate\_index\_nameにてtimezoneを"Asia/Tokyo" に指定してindex名にyyyyMM(日本時間に合わせた年月)を設定したいです。 simulateを実行したところ、 投入データの"@timestamp"… --- ## [Vega-liteでjoin aggregateを用いてフィルタすると何もプロットされない](https://discuss.elastic.co/t/vega-lite-join-aggregate/230787)
**Author:** [@masahiro](https://discuss.elastic.co/u/masahiro)\ **Replies:** 3\ **Last updated:** [May 3, 2020, 11:23pm UTC](https://discuss.elastic.co/t/vega-lite-join-aggregate/230787 "2020-05-03T23:23:30Z")
下のように、"b"の値が第一四分位値を超えるものを散布図にしようとしていますが、なにもプロットされなくなります。フィルタを外すとすべてプロットされます。 Kibana7.6.0です。 { "$schema": "https://vega.github.io/schema/vega-lite/v2.json", "data": { "values": \[ {"a": 20, "b": 28}, {"a": 25, "b": 5… --- ## [検索条件を含むDataTableの作成](https://discuss.elastic.co/t/datatable/229402)
**Author:** [@hashimoto](https://discuss.elastic.co/u/hashimoto)\ **Replies:** 4\ **Last updated:** [April 27, 2020, 2:22am UTC](https://discuss.elastic.co/t/datatable/229402 "2020-04-27T02:22:04Z")
DatatableのVisualizationにおいて、特定条件のCountを並べることは可能でしょうか？ Split Rowsで特定フィールドのTermsで行を分け、列の値があるフィールドのそれぞれの値のCountとなる表をイメージしています。 Kibana 6.8.2です。 --- ## [ElasticsearchのDisk-based shard allocation機能について](https://discuss.elastic.co/t/elasticsearch-disk-based-shard-allocation/228270)
**Author:** [@YousukeFukuta](https://discuss.elastic.co/u/YousukeFukuta)\ **Replies:** 0\ **Last updated:** [April 16, 2020, 8:02am UTC](https://discuss.elastic.co/t/elasticsearch-disk-based-shard-allocation/228270 "2020-04-16T08:02:50Z")
現在Elasticsearchを使用しているディスクの容量が不足してきたため、新しいディスクを用意して、そちらに移行することを検討しています。 Elasticsearchは、Disk-based shard allocation機能によりディスクの使用量 or 使用率を監視しており、デフォルトであればディスク使用率が95%を超過するとindexがread-onlyになる、と認識しています。 なお、使用しているElasticsearc… --- ## [Logstash経由でのレコード転送が不完全に繰り返される](https://discuss.elastic.co/t/logstash/226507)
**Author:** [@sogaoh](https://discuss.elastic.co/u/sogaoh)\ **Replies:** 3\ **Last updated:** [April 14, 2020, 4:12pm UTC](https://discuss.elastic.co/t/logstash/226507 "2020-04-14T16:12:22Z")
と同一の以下環境で Logstash経由での400万件のレコード転送が240万件程しかされない という状況となっており、打開策を模索しています。 logstash:7.6.1 ( Docker ) AWS RDS (MySQL 5.7.12) AWS Elasticsearch (7.1) 同様の状況にご経験がある、あるいは何か効果的な対策が浮かぶ、等あれば ご提示いただけると大変ありがたいと思い、投稿する次第です。 よ… --- ## [Logstash S3 outputについて](https://discuss.elastic.co/t/logstash-s3-output/227441)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 0\ **Last updated:** [April 10, 2020, 5:53am UTC](https://discuss.elastic.co/t/logstash-s3-output/227441 "2020-04-10T05:53:04Z")
お世話になります。 LogstashのS3 outputについて質問させて頂きます。 下記confを記載したところエラーが発生しました。 「bucket =\> "%{bucket}"」の記載が問題だと思いますが、解決策分かりますでしょうか。 「validate\_credentials\_on\_root\_bucket =\> false」を設定無でも別のエラーが発生しました。 input { file{ pa… --- ## [Packetbeatの処理能力について](https://discuss.elastic.co/t/packetbeat/227281)
**Author:** [@gelgoog99](https://discuss.elastic.co/u/gelgoog99)\ **Replies:** 0\ **Last updated:** [April 9, 2020, 8:55am UTC](https://discuss.elastic.co/t/packetbeat/227281 "2020-04-09T08:55:36Z")
packetbeatですが、どれくらいのトラフィックを処理できるものなのでしょうか。 10Mbps なのか 100 なのか、それとももっといけるのか。 ただこのフォーラムをみていると、あまりさばけないという話も以前ありました。 環境によって異なるとは思いますが、こういった構成でこれくらいのトラフィックを捌いている、みたいな実績等あれば教えていただけないでしょうか。 --- ## [Kibanaでのmacアドレス正規表現でのfilter or search](https://discuss.elastic.co/t/kibana-mac-filter-or-search/227035)
**Author:** [@snowman\_1114](https://discuss.elastic.co/u/snowman_1114)\ **Replies:** 0\ **Last updated:** [April 8, 2020, 12:47am UTC](https://discuss.elastic.co/t/kibana-mac-filter-or-search/227035 "2020-04-08T00:47:55Z")
LinuxのbashでMACアドレスを検索する時は \[0-9A-F\]\\{2\\}\\(-\[0-9A-F\]\\{2\\}\\)\\{5\\} を指定してgrep等していますが、kibanaのSearchの際には、検索窓にどのように書くとMACアドレスが検索できますか？(kibana-6.6.1を使用しています。) --- ## [Kibana canvas の Expression editor](https://discuss.elastic.co/t/kibana-canvas-expression-editor/226616)
**Author:** [@sshota](https://discuss.elastic.co/u/sshota)\ **Replies:** 0\ **Last updated:** [April 6, 2020, 5:22am UTC](https://discuss.elastic.co/t/kibana-canvas-expression-editor/226616 "2020-04-06T05:22:01Z")
お世話になります。 Kibana canvas の Markdownなどにおいて、 Expression editorを使って、値に応じて背景色を変えたり文字色を変えるなどを実現したいです。 下記discussの投稿や、function-referenceなどを参考にして、 とってきた数値データに応じて、とりあえず色を変えることなどは実現できました。 ただ、正式な文法や、何をどこに記載すればいいのかが全くわかっておらず、 … --- ## [Kibana 構成情報のみスナップショット](https://discuss.elastic.co/t/kibana/226307)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 0\ **Last updated:** [April 3, 2020, 2:51am UTC](https://discuss.elastic.co/t/kibana/226307 "2020-04-03T02:51:03Z")
お世話になります。 Kibanaの構成情報(indexデータ以外)のスナップショットを取得する方法はありますでしょうか。 構成情報とは ・pipeline,template等のPUT APIでの設定値 ・indexpattern,visualize,dashboard.machine learning等の画面での設定値 ・ユーザー,ロールの設定値 など 質問の目的：Kibana(elasticseach)環境がエラーで使え… --- ## [RDS -\> (Logstash) -\> Elasticsearch の取り込みができない](https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406)
**Author:** [@sogaoh](https://discuss.elastic.co/u/sogaoh)\ **Replies:** 1\ **Last updated:** [March 27, 2020, 3:11pm UTC](https://discuss.elastic.co/t/rds-logstash-elasticsearch/225406 "2020-03-27T15:11:49Z")
バージョン： logstash:7.6.1 ( https://hub.docker.com/\_/logstash?tab=tags ) Logstash Pipeline を利用した AWS RDS (MySQL 5.7.12) からの AWS Elasticsearch(7.1) へのデータ流し込みでつまづいてしまっています。 おそらく該当のテーブルに geometry型のカラムがあるためではないかと思い、以下２点を試したので… --- ## [Filebeatで作成されるインデックスについて](https://discuss.elastic.co/t/filebeat/224017)
**Author:** [@111142](https://discuss.elastic.co/u/111142)\ **Replies:** 4\ **Last updated:** [March 19, 2020, 3:00am UTC](https://discuss.elastic.co/t/filebeat/224017 "2020-03-19T03:00:36Z")
filebeatの設定を下記のように行いモジュールごとにインデックスを分けてログを取り込んでいます。 output.elasticsearch: hosts: \["localhost:9200"\] indices: - index: "paloalto-%{+yyyy.MM.dd}" when.equals: event.module: "panw" - index: "elasti… --- ## [Logstashのoutputをsyslogに設定時にエラー](https://discuss.elastic.co/t/logstash-output-syslog/224066)
**Author:** [@t-nakata](https://discuss.elastic.co/u/t-nakata)\ **Replies:** 0\ **Last updated:** [March 18, 2020, 10:13am UTC](https://discuss.elastic.co/t/logstash-output-syslog/224066 "2020-03-18T10:13:03Z")
logstashにて、outputをsyslogにした際に以下のエラーが発生しました。 原因についてご教示頂けないでしょうか ■confファイル内容 input { file{ path =\> "/XXX/test.log" start\_position =\> "beginning" } } output{ syslog{ host =\> "XXXXXX.co… --- ## [Ingest node 登録データと複数項目の突合せについて](https://discuss.elastic.co/t/ingest-node/223859)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 0\ **Last updated:** [March 17, 2020, 7:21am UTC](https://discuss.elastic.co/t/ingest-node/223859 "2020-03-17T07:21:48Z")
お世話になります。 下記質問の投稿が説明不足であったため、再度投稿させて頂きます。 ▼実現したいこと ingest nodeにて、インプットデータとindexA(下記参照)のデータを突き合わせて、突合せ結果をindexBに登録 indexAの例 ID,IP 100,10.169.1.1 インプットデータとindexAとの突合せ条件 ・IDが"100"かつIPが"10.169.1.1"の場合、indexBに"true"を… --- ## [Visualize 棒グラフのカウントについて](https://discuss.elastic.co/t/visualize/223687)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 0\ **Last updated:** [March 16, 2020, 5:12am UTC](https://discuss.elastic.co/t/visualize/223687 "2020-03-16T05:12:04Z")
お世話になります。 Visualizeのbar chart(横棒グラフ)について質問させて頂きます。 ▼bar chartの設定値 ▼質問事項 上記設定値にて、下記のようにrequestのデータを配列（同値が2件）とすると、 Y軸のカウントは1件で表示されます。 "request": \["http://aaa.com/","http://aaa.com/"\] 配列の各要素が同値であっても、各要素ずつカウント(上記例では… --- ## [Visualize 積み上げ縦棒グラフの作成方法](https://discuss.elastic.co/t/visualize/223279)
**Author:** [@harue](https://discuss.elastic.co/u/harue)\ **Replies:** 2\ **Last updated:** [March 16, 2020, 4:54am UTC](https://discuss.elastic.co/t/visualize/223279 "2020-03-16T04:54:17Z")
お世話になります。 Visualizeのbar chartsにて積み上げ縦棒グラフを作成したいのですが、 公式ドキュメント、discussを参照したところ作成方法が見つかりません。 bar chartsの作成方法について、ご教示お願い致します。 ▼イメージ id毎に月毎の件数を積み上げ表示 --- ## [Sincedbに書き込まれる内容について](https://discuss.elastic.co/t/sincedb/223452)
**Author:** [@t-nakata](https://discuss.elastic.co/u/t-nakata)\ **Replies:** 1\ **Last updated:** [March 13, 2020, 1:10pm UTC](https://discuss.elastic.co/t/sincedb/223452 "2020-03-13T13:10:22Z")
logstashでどこまでファイルを読み込んだかを記録するincedbがあると思います。 出力させてみたのですが、どの数字が何を表すのかご教示頂けないでしょうか？ マニュアルを参照しても分からず、お手数ですがお願い致します。 (sincedb出力例) 540437991024698906 0 37 8 1584078010.747719 /XXX/XXX.log [Previous page](https://discuss.elastic.co/c/in-your-native-tongue/japanese/18.md?page=5) [Next page](https://discuss.elastic.co/c/in-your-native-tongue/japanese/18.md?page=7)