RLHF

Также: обучение с подкреплением на отзывах людей

Коротко

Reinforcement Learning from Human Feedback — дообучение модели на оценках людей, чтобы её ответы были полезнее, вежливее и безопаснее.

Именно на этом этапе модель учится вести диалог и следовать инструкциям.