Инференс

Также: inference, вывод модели

Коротко

Работа уже обученной модели: получение ответа на конкретный запрос.

Обучение делают редко и дорого, инференс — при каждом запросе пользователя. Стоимость инференса обычно считается в токенах.