Как настроить поиск русских слов?

regex в любом случае ищет по токенам, только в первом случае, токены эти генерируются анализатором и состоят из слов, а во втором случае - токен у вас один - вся строка.