Предобучение

Также: pretraining, претрейн

Коротко

Первый и самый объёмный этап обучения языковой модели на огромном корпусе текстов, где она учится предсказывать следующее слово.

После предобучения модель знает язык и много фактов, но ещё не умеет вести диалог — этому её учат на следующих этапах.

Упоминается в статьях

⭐ Репутация

Окно отражения: через сколько изменения в компании видят клиенты и ИИ

Компания исправила сервис, сменила адрес или урегулировала конфликт, а клиенты ещё месяцами видят старую картину. Из каких слоёв складывается задержка и как её планировать.

⏱ 5 минЧитать →

Упоминается в исследованиях

Рецензируемое исследование 2024

Чтобы модель извлекала факт, он должен встречаться в разных формулировках

Allen-Zhu, Li · Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 1067–1077

0%Без разнообразия формулировок знание может быть запомнено, но не извлекаться: точность ответов на вопросы нулевая независимо от последующего…

🧠 Языковые модели (LLMO)Читать →

Рецензируемое исследование 2023

Языковые модели плохо запоминают редкие факты: всё решает число упоминаний

Kandpal и др. · Proceedings of the 40th International Conference on Machine Learning (ICML 2023), PMLR 202, 15696–15707

Сильная связьТочность ответа на вопрос коррелирует и причинно связана с числом релевантных документов в данных предобучения.

🧠 Языковые модели (LLMO)Читать →