elastic cloudのコミュニティに投げたのですが、明確な回答まだ来てないので日本語コミュニティにも投げさせていただきます。
【知りたいこと】
- どうすれば過去分のデータをリストアできますか?(.Kibanaのインデックスだけはなんとしても復元したい)
- クラスタ再起動で、インデックスが消失した理由を知りたいです。
https://discuss.elastic.co/t/data-disappeared-when-restarting-the-cluster/77475
【事象】
昨日elastic cloudが突然の高負荷に見舞われ、クラスタの再起動を実施したところ下記事象が起きました。
- 過去分のインデックスデータの全消失
- snapshotからのリストアも不可
※S3の障害時あたりからsnapshotが働いていない事も確認、、
↓リストア時のエラーログ
[2017-03-07T01:08:51,117][WARN ][org.elasticsearch.snapshots.RestoreService] [scheduled-1488182303-instance-0000000004/wl4QKyyjQ9mxGaoV-QQ0VA] failed to restore snapshot org.elasticsearch.snapshots.SnapshotRestoreException: [found-snapshots:scheduled-1488182303-instance-0000000004/wl4QKyyjQ9mxGaoV-QQ0VA] cannot restore index [.monitoring-data-2] because it's open at org.elasticsearch.snapshots.RestoreService$1.validateExistingIndex(RestoreService.java:379) ~[elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.snapshots.RestoreService$1.execute(RestoreService.java:286) ~[elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.cluster.ClusterStateUpdateTask.execute(ClusterStateUpdateTask.java:45) ~[elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.cluster.service.ClusterService.runTasksForExecutor(ClusterService.java:581) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.cluster.service.ClusterService$UpdateTask.run(ClusterService.java:920) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingRunnable.run(ThreadContext.java:458) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.runAndClean(PrioritizedEsThreadPoolExecutor.java:238) [elasticsearch-5.1.2.jar:5.1.2] at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.run(PrioritizedEsThreadPoolExecutor.java:201) [elasticsearch-5.1.2.jar:5.1.2] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [?:1.8.0_72] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [?:1.8.0_72] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_72]