Elastic cloudで再起動後に過去分のインデックスが全消失

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

elastic cloudのコミュニティに投げたのですが、明確な回答まだ来てないので日本語コミュニティにも投げさせていただきます。

【知りたいこと】

【事象】

昨日elastic cloudが突然の高負荷に見舞われ、クラスタの再起動を実施したところ下記事象が起きました。

  • 過去分のインデックスデータの全消失
  • snapshotからのリストアも不可
    ※S3の障害時あたりからsnapshotが働いていない事も確認、、
    Elastic_Cloud.jpg2558×178 56.6 KB

↓リストア時のエラーログ

[2017-03-07T01:08:51,117][WARN ][org.elasticsearch.snapshots.RestoreService] [scheduled-1488182303-instance-0000000004/wl4QKyyjQ9mxGaoV-QQ0VA] failed to restore snapshot org.elasticsearch.snapshots.SnapshotRestoreException: [found-snapshots:scheduled-1488182303-instance-0000000004/wl4QKyyjQ9mxGaoV-QQ0VA] cannot restore index [.monitoring-data-2] because it's open at org.elasticsearch.snapshots.RestoreService$1.validateExistingIndex(RestoreService.java:379) ~[elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.snapshots.RestoreService$1.execute(RestoreService.java:286) ~[elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.cluster.ClusterStateUpdateTask.execute(ClusterStateUpdateTask.java:45) ~[elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.cluster.service.ClusterService.runTasksForExecutor(ClusterService.java:581) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.cluster.service.ClusterService$UpdateTask.run(ClusterService.java:920) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingRunnable.run(ThreadContext.java:458) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.runAndClean(PrioritizedEsThreadPoolExecutor.java:238) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.run(PrioritizedEsThreadPoolExecutor.java:201) [elasticsearch-5.1.2.jar:5.1.2] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [?:1.8.0_72] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [?:1.8.0_72] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_72]
2
  • どうすれば過去分のデータをリストアできますか?(.Kibanaのインデックスだけはなんとしても復元したい)

これについては、.kibanaを一回消してからリストアすることで復元出来ましたのでとりあえずは大丈夫です。

今後の運用のためにも、下記理由はちゃんと抑えておきたいです。

  • クラスタ再起動で、インデックスが消失した理由を知りたいです。
3

実際にどのインデックスが足りないかとかを英語のスレッドに書いていただくのが良いかと。

4

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.