Токен

Кусок текста, которым оперирует модель: слово, часть слова или знак препинания.

Модель не выбирает слова целиком — она на каждом шаге берёт следующий токен из списка вероятностей. Отсюда растут и счёт за запрос, и скрытая метка: метка ставится именно на этом выборе.