📖 Глоссарий

Токен

Также: токены

Коротко

Единица текста, с которой работает языковая модель: слово, часть слова или знак. По токенам считают длину запроса и ответа.

Русский текст обычно требует больше токенов, чем английский того же смысла. Лимиты и стоимость работы с моделями часто считаются в токенах.

Упоминается в статьях