# Esrallyのスコアの見方について

**URL:** <https://discuss.elastic.co/t/esrally/81449>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [April 6, 2017, 10:46am UTC](https://discuss.elastic.co/t/esrally/81449 "2017-04-06T10:46:42Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![r-takebayashi](https://avatars.discourse-cdn.com/v4/letter/r/5f8ce5/32.png) [@r-takebayashi](https://discuss.elastic.co/u/r-takebayashi)\
**Post date:** [April 6, 2017, 10:46am UTC](https://discuss.elastic.co/t/esrally/81449/1 "2017-04-06T10:46:42Z")

</div>

某コンテナ製品上で稼働するElasticsearchと物理環境で稼働するElasticsearchの性能を比較するためにesrallyを利用しました。

trackはgeonamesとpmcを使いました。  
性能測定結果はバラつきはあるものの概ね同等程度であり、物理環境でのElasticsearchの方がやや優れた結果になりました。

しかし、geonamesのdefaultのlatencyは最大で650倍程度の差が出ており、かなり懸念のある結果となりました。ただ、defaultというOperationそもそも何を示しているか分かりません。

これはどのようなアクションをイメージしているのでしょうか？  
また、node-statsというものもいまいちよく分からないのですが、それぞれのOperatiionが示されている情報等はございますでしょうか？

---

<div class="post-metadata">

**Author:** ![johtani](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/johtani/32/44956_2.png) [@johtani](https://discuss.elastic.co/u/johtani)\
**Post date:** [April 6, 2017, 12:19pm UTC](https://discuss.elastic.co/t/esrally/81449/2 "2017-04-06T12:19:34Z")

</div>

こちらは読まれましたでしょうか？  
[https://esrally.readthedocs.io/en/stable/](https://esrally.readthedocs.io/en/stable/)

---

<div class="post-metadata">

**Author:** ![r-takebayashi](https://avatars.discourse-cdn.com/v4/letter/r/5f8ce5/32.png) [@r-takebayashi](https://discuss.elastic.co/u/r-takebayashi)\
**Post date:** [April 7, 2017, 5:25am UTC](https://discuss.elastic.co/t/esrally/81449/3 "2017-04-07T05:25:29Z")

</div>

ご返信ありがとうございます。  
はい。事前に参照し、再度参照してみましたがoperationのdefaultが何を示しているのかが、理解できませんでした。

---

<div class="post-metadata">

**Author:** ![st1t](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/st1t/32/9188_2.png) [@st1t](https://discuss.elastic.co/u/st1t)\
**Post date:** [April 7, 2017, 7:34am UTC](https://discuss.elastic.co/t/esrally/81449/4 "2017-04-07T07:34:49Z")

</div>

ドキュメントはRallyの概要までしか書いてないと思いますので、  
合わせてgithubで公開されているrally-tracksの各trackのtrack.json辺りを読んでみるのが良いかと思います。

- [trackの構成要素](https://esrally.readthedocs.io/en/stable/track.html)
- [rally-tracks](https://github.com/elastic/rally-tracks)

以下個人的な解釈としてgeonamesについて書いておきます。  
※解釈が間違っていたらご指摘ください。

geonamesのtrack.jsonについて見てみると、

- challenges

```auto
        {
          "operation": "default",
          "clients": 1,
          "warmup-iterations": 500,
          "iterations": 1000,
          "target-throughput": 50
        },

```

- operations

```auto
	{
      "name": "default",
      "operation-type": "search",
      "body": {
        "query": {
          "match_all": {}
        }
      }
    },

```

と記載されているので、  
デフォルトでは

- 1クライアントでタスクを実行
- ウォームアップとして500回実行
- 1000回実行して実測値を計測
- 50リクエスト発行
- 上記設定でsearch APIでmatch\_allを実行

というベンチマークになると思います。

手間はかかりますが、なぜ時間がかかるのか、どういう検索をしているか把握するために  
trackで使われるindexやtemplateをダウンロードしてデータ構造を確認してみるのが良いと思います。

いずれにしても本当に意義のあるベンチマークをきちんと取るのは結構難しいです。  
概要程度に留めないで本気でベンチマークをされるのでしたら  
最終的にはRallyを使って自分の環境に合ったデータセットやtrack等を自作するところまでやらないと駄目かと思います。  
また、負荷のかかり方をきちんと理解するならデータセットやElasticsearchそのものの振舞いはもちろん、  
その振舞いに応じてKernelや物理レイヤがどういう挙動になるのかを突き詰めて考える必要があります。  
目的とベンチマークの結果予想と結果とどう乖離していたか等を気にしながらやるのはもはや職人芸ですね。。。  
※私はほどほどのところで留めてしまっています。。。😭

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [May 5, 2017, 7:46am UTC](https://discuss.elastic.co/t/esrally/81449/5 "2017-05-05T07:46:31Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.