によりますと、
Using
_source
is very slow.
と、書かれています。
要素の数でソートしたい、という要件を満たすのであれば、
データ投入時に、その値を別フィールドに保持しておき、そのフィールドでソートする方が、よりシンプルかと思います。
例)
PUT my_index/_doc/2
{
"user_count": 2,
"user" : [
{
"first" : "John",
"last" : "Smith"
},
{
"first" : "Alice",
"last" : "White"
}
]
}