Галлюцинация
Модель и промпты · галлюцинации LLM, галлюцинации ИИ, галлюцинации нейросети
Галлюцинация LLM — уверенный, но выдуманный ответ большой языковой модели: несуществующий факт, функция или ссылка. Появляется там, где у части ответа нет опоры в данных, и модель заполняет пустое место правдоподобной догадкой. Обратный случай, когда опора есть у каждой части ответа, называют эпиморфизмом. Снижают её данными из надёжных источников и проверкой результата.
Примеры галлюцинаций и как их снижать
- Выдуманная функция · агент вызывает метод, которого нет в библиотеке, или параметр, которого нет у функции. Код выглядит правдоподобно и падает при запуске.
- Несуществующий пакет · агент предлагает поставить пакет, которого нет в npm или PyPI. Модели часто повторяют одни и те же выдуманные имена, и злоумышленники регистрируют пакеты с такими именами, чтобы подсунуть свой код (slopsquatting).
- Ссылка в никуда · ссылка на статью, документацию или раздел, которых не существует.
- «Готово», а изменений нет · агент отчитывается о сделанной работе, которой не было.
- Как снижать · дать модели источники и контекст и требовать ссылку на опору для каждого утверждения (это и есть эпиморфизм); в промпте разрешить ответ «не знаю».
- Как ловить · проверками: тесты, сборка и линтер ловят выдуманный код, установка из списка разрешённых пакетов — выдуманные пакеты, переход по ссылкам — выдуманные источники.
Источник: Википедия: галлюцинации ИИ
Где встречается · 3
- Требования и протоколы встреч с ИИ · Харнесс
- MCP для ИИ-агента · Харнесс
- Отчёт по использованию ChatGPT Enterprise в компании · Исследования