[Management] - [Saved Objects] を開き、[Export Everything]ボタンをクリックすると、
Saved Objects: Not Found
となってしまい、Exportが出来ない状態となっております。
Dashboardsとかで、選択してExportは問題なく出来るのですが、上記の[Export Everything]が
出来ない状態となっております。
kibana or Elasticsearch の設定を変更すれば出来るようになるのでしょうか。
■環境
kibana-5.4.1-1.x86_64
elasticsearch-5.4.1-1.noarch
初歩的な質問かもしれませんが、ご教授ください。
手元の素に近い環境で試してみましたが、おっしゃる状況が再現せずExport Everythingを押すと、export.jsonがダウンロードできてしまいました。
elasticsearch/kibanaのログにエラーに何か助けになるような情報は出力されてませんか？
以下、私が確認した内容です。
試した環境１
試した環境２
テストした内容
この状態で、「Management」－「Saved Objects」から「Export Everything」を押下すると、export.jsonが出力されました。
（Chrome、Firefox、IE11で確認しました）
作成したDashboardに含まれるSearchesやVisualizationsを削除し、Export Everythingを押下してもエラーとはならずexport.jsonが出力されました。
elasticsearchのログには何も出ておりません。
kibana.log に下記の出力がありました。
"tags":[],"pid":31954,"method":"post","statusCode":404,"req":{"url":"/es_admin/_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAGGWcWT05Sel9rVHhUZXE0NEhfT0ZUa2oyZw=="
こちらの環境は、Redhat 7.3となります。
Dashboard: 513
Searches: 4
Visualizations: 4600
のデータが格納されております。
この問題ですが、「Export Everything」をクリックしてから、上記のエラーが出るまで、
どれくらいの時間がかかりますでしょうか？
Kibanaの Export Everythingを実行したときの動作ですが、
リクエストを見ると、scroll API を利用して、Saved Objectsのデータを取得しています。
このとき、scroll APIの実行時間を1m と指定しているため、
Export対象のデータが多く、１分以上の時間がかかるものについては、
途中でElasticsearchのAPIからエラーが返ってくるため、ダウンロードができないことがあります。
ご回答ありがとうございます。
そうですね、5秒はかからないで、エラーとなっております。
あまりにも早くエラーとなるので困惑しております。
kibanaの[Export Everything]を実行した時の、scrollAPIの実行時間を指定する方法はあるのでしょうか。
何か、デフォルトとは異なる設定kibana.confとかでしていますか？
いえ、特にしていないと思います。
設定しているのは、下記だけです。
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"
logging.dest: /var/log/kibana/kibana.log
ElsasticSearchの方の設定が影響しているのでしょうか。
特筆すべき設定としては、下記ですか。
thread_pool.bulk.size: 10
thread_pool.bulk.queue_size: 400
thread_pool.get.queue_size: -1
thread_pool.index.queue_size: -1
thread_pool.listener.queue_size: -1
thread_pool.search.size: 10
thread_pool.search.queue_size: -1
上記については、設定を外しての確認はしておりませんが、
設定する前から、Export出来なかったと記憶しております。
ブラウザは何をしようしていますか？
あと、クライアント側でProxyなどを使用していたりしますか？
"tags":,"pid":31954,"method":"post","statusCode":404,"req":{"url":"/es_admin/_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAGGWcWT05Sel9rVHhUZXE0NEhfT0ZUa2oyZw=="
ログに出力されているURLを見ると、es_adminと_searchの間に.kibanaが足りないように見えます。
ご回答ありがとうございます。
ブラウザは、chromeを使用しております。
プロキシを使用した場合と、直接参照した場合と試しましたが、結果は同じでした。
kibanaの設定で、es_adminと_searchの間に何も入らないことはあるのでしょうか。
他に試すようなことがありましたら、お教え下さい。
環境について、一つ付け加えますと、元々kibana4.3で動作していた
ものを、5.4.1環境にImportしたものを使用しております。
この辺が影響していたりしますか？
うーん、そこは関係ないと思います。
同一の環境などで、データをImportする前の状態ではExportはきちんと動作していたかはわかりますでしょうか？
ご回答ありがとうございます。
同一の環境ではないのですが、検証する為、同じような手順で設定したホストがあり、Dashboard,Visualizeを1件ずつ作成した場合[Export Everyting]ボタンは正常に動作しました。
この際、[Export Everyting]ボタンではなくてもいいので、何とか設定情報を退避する手段はないのでしょうか。
.kibanaをcurlで検索して、同じような結果を得るようなことは出来ないのでしょうか。
以上、よろしくお願いします。
Export Everything自体がExportしているものは、「Dashboard」「Visualization」「Saved Search」になります。
それぞれが、Export Everythingのボタンの下にあるタブの部分でExportできるようになっています。
それぞれのデータごとに図のような順序でクリックすると個別にImportできる形式でJSONがダウンロードできます。
これで試して見てはどうでしょうか？
ご回答ありがとうございます。
確かに、この方法ではExport出来ていますが、先に述べた通り、下記の件数が存在しております。
Dashboard: 513
Searches: 4
Visualizations: 4600
上記の方法では、1つのExport当たり、100件までとなってしまい、単純計算すると、53回はExport操作をしなくてはなりません。
この方法では、操作誤り等が発生する可能性が高いので、出来れば一回の操作で、Export出来れば確実かと思ったのですが、それ以外に方法がないのであれば、この方法でExportしようと思います。
ちなもにですが、Export対象を、100件以上指定する方法はないのでしょうか。
以上、よろしくお願いします。
うーん、となると、Kibana 4.3で動いていたものの一部が問題かもしれないですね。。。
4600のVisualizationとありますが、全てきちんと表示できるものでしょうか？
あとは、verboseオプションでログ出力すると何かおかしなものは出ないでしょうか？
ご回答ありがとうございます。
4600のVisualizationとありますが、全てきちんと表示できるものでしょうか？
全てを確認した訳ではないのですが、表示出来ているものはあります。
また、Import時に、ブラウザが重くなり(Chrome)、何度も時間がかかり過ぎているので、中断しますか、とのメッセージは表示されていました。何回か行っている内の合計数があったので、Import出来たと思っておりましたが、これが間違いでしょうか。
付け加えますと、kibana4.3でのExportは初回は成功したのですが、その後は失敗続きでした（エラー内容は覚えていません、すいません）。
あとは、verboseオプションでログ出力すると何かおかしなものは出ないでしょうか？
すいません、これは具体的にどのような操作で行うのでしょうか、お教え下さい。
以上、よろしくお願いします。
ログを色々と出すオプションです。
起動時に次のオプションをつけても可能です。
--verbose Turns on verbose logging
返信が遅れて申し訳ありません。
早速、試してみたいと思います。
試してみたのですが、結果は下記の通りで、以前に投稿したものと同様に見えます。
{"type":"response","@timestamp":"2017-08-14T00:31:57Z","tags":[],"pid":3730,"method":"post","statusCode":200,"req":{"url":"/es_admin/.kibana/search/_search?size=1000&scroll=1m&sort=_doc","method":"post","headers":{"host":"192.168.56.69:5601","connection":"keep-alive","content-length":"26","accept":"application/json, text/plain, /","origin":"http://192.168.56.69:5601","kbn-version":"5.4.0","user-agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36","content-type":"application/json","referer":"http://192.168.56.69:5601/app/kibana","accept-encoding":"gzip, deflate","accept-language":"en-US,en;q=0.8,ja;q=0.6"},"remoteAddress":"192.168.56.1","userAgent":"192.168.56.1","referer":"http://192.168.56.69:5601/app/kibana"},"res":{"statusCode":200,"responseTime":143,"contentLength":9},"message":"POST /es_admin/.kibana/search/_search?size=1000&scroll=1m&sort=_doc 200 143ms - 9.0B"}
{"type":"response","@timestamp":"2017-08-14T00:31:57Z","tags":[],"pid":3730,"method":"post","statusCode":200,"req":{"url":"/es_admin/.kibana/dashboard/_search?size=1000&scroll=1m&sort=_doc","method":"post","headers":{"host":"192.168.56.69:5601","connection":"keep-alive","content-length":"26","accept":"application/json, text/plain, /","origin":"http://192.168.56.69:5601","kbn-version":"5.4.0","user-agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36","content-type":"application/json","referer":"http://192.168.56.69:5601/app/kibana","accept-encoding":"gzip, deflate","accept-language":"en-US,en;q=0.8,ja;q=0.6"},"remoteAddress":"192.168.56.1","userAgent":"192.168.56.1","referer":"http://192.168.56.69:5601/app/kibana"},"res":{"statusCode":200,"responseTime":235,"contentLength":9},"message":"POST /es_admin/.kibana/dashboard/_search?size=1000&scroll=1m&sort=_doc 200 235ms - 9.0B"}
{"type":"response","@timestamp":"2017-08-14T00:31:57Z","tags":[],"pid":3730,"method":"post","statusCode":200,"req":{"url":"/es_admin/.kibana/visualization/_search?size=1000&scroll=1m&sort=_doc","method":"post","headers":{"host":"192.168.56.69:5601","connection":"keep-alive","content-length":"26","accept":"application/json, text/plain, /","origin":"http://192.168.56.69:5601","kbn-version":"5.4.0","user-agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36","content-type":"application/json","referer":"http://192.168.56.69:5601/app/kibana","accept-encoding":"gzip, deflate","accept-language":"en-US,en;q=0.8,ja;q=0.6"},"remoteAddress":"192.168.56.1","userAgent":"192.168.56.1","referer":"http://192.168.56.69:5601/app/kibana"},"res":{"statusCode":200,"responseTime":182,"contentLength":9},"message":"POST /es_admin/.kibana/visualization/_search?size=1000&scroll=1m&sort=_doc 200 182ms - 9.0B"}
{"type":"response","@timestamp":"2017-08-14T00:31:57Z","tags":[],"pid":3730,"method":"post","statusCode":404,"req":{"url":"/es_admin/_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAA8kWY0xpeEE2bGJRdFNBcWFoMVhvQmZZZw==","method":"post","headers":{"host":"192.168.56.69:5601","connection":"keep-alive","content-length":"80","accept":"application/json, text/plain, /","origin":"http://192.168.56.69:5601","kbn-version":"5.4.0","user-agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36","content-type":"application/json","referer":"http://192.168.56.69:5601/app/kibana","accept-encoding":"gzip, deflate","accept-language":"en-US,en;q=0.8,ja;q=0.6"},"remoteAddress":"192.168.56.1","userAgent":"192.168.56.1","referer":"http://192.168.56.69:5601/app/kibana"},"res":{"statusCode":404,"responseTime":8,"contentLength":9},"message":"POST /es_admin/_search/scroll/DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAA8kWY0xpeEE2bGJRdFNBcWFoMVhvQmZZZw== 404 8ms - 9.0B"}
やはり、kibana4.3からExportしたデータがおかしいのでしょうか？
既に運用ベースで動作させているのですが、Importしたデータを使用
していると、kibana5.4のVisualizationやDashboardの表示が、移行前(4.3)と動作が
異なり、手動で修正を行ったものが多数ありました。
ちなみに、ログ詳細は下記オプションを設定しております。
/etc/kibana/kibana.yml
logging.dest: /var/log/kibana/kibana.log
logging.verbose: true
以上、よろしくお願いします。
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
© 2020. All Rights Reserved - Elasticsearch
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant logo are trademarks of the Apache Software Foundation in the United States and/or other countries.