Промпт-инъекция

Также: prompt injection

Коротко

Атака на систему с нейросетью: в запрос или внешний документ вставляют инструкции, которые заставляют модель нарушить свои правила.

Для бренда риск — чат-бот на сайте, который после промпт-инъекции говорит от имени компании что-то вредное. Ответы такого бота ограничивают и тестируют до запуска.

Упоминается в исследованиях

Препринт 2024

Скрытая вставка в описание товара может поднять его в рекомендациях ИИ

Kumar, Lakkaraju · arXiv:2404.07981

Из «нет» в №1После добавления последовательности целевой товар перешёл из числа нерекомендуемых в первую позицию ответа.

🧭 Генеративный поиск (GEO)Читать →