Галлюцинации — это ситуация, когда модель выдаёт утверждение, которое неверно, выдумано или логически несогласованно с фактами. Это не просто «ошибки», а системное явление: ИИ генерирует текст, подбирая вероятные продолжения, а не опираясь на факты, поэтому модель может придумать, например, научные ссылки, которые выглядят реалистично, но не существуют.
Примеры галлюцинаций:
- фактические ошибки — неверная дата, число или факт;
- сфабрикованный контент — правдоподобные, но полностью вымышленные утверждения или цитаты;
- логически неверные утверждения — грамотно сформулированный, но бессмысленный вывод.
Полностью устранить «галлюцинации»
невозможно в текущей архитектуре — модели по конструкции склонны к генерации правдоподобного, но некорректного текста. Разработчики (и пользователи) могут лишь уменьшить частоту и ущерб от них.
Ожидание: улучшение моделей приведёт к меньшему числу ошибок.
Результат: не всегда так. В ряде внутренних и публичных тестов более «продвинутые» версии моделей показали рост случаев галлюцинаций.
Например, по оценке OpenAI модель o3 демонстрировала повышенный уровень галлюцинаций (около 33%), а o4-mini — ещё выше (до ~48%). Эти цифры породили официальные и аналитические обсуждения о том, как улучшение способности «думать» влияет на надёжность фактов.Коротко: многие современные методы обучения reasoning-моделей (включая RLHF и агентные подходы) поощряют генерацию новых комбинаций и гипотез. Это даёт модели креативность, но одновременно увеличивает риск «выхлопа» несуществующих фактов — модель пробует варианты, которые кажутся статистически правдоподобными, но не подтверждены данными. Аналитические обзоры и исследования последнего времени фиксируют это расхождение между «умением рассуждать» и «точностью фактов».
- Статистическая природа генерации. Модель предсказывает следующее слово на основании вероятностей, а не «проверяет реальность».
- Противоречивые данные в источниках. Обучающие корпуса содержат как правду, так и ошибки; модель учится на их совокупности.
- Тренировочные цели. Метрики, по которым оптимизируют модели (полезность, естественность, удовлетворение пользователя), не всегда поощряют осторожность и верификацию фактов. Это создаёт стимулы «угадывать», а не «признавать незнание». Анализ последних исследований подтверждает важность согласования неопределённости модели и фактической точности.
1. Retrieval-Augmented Generation (RAG)Модель сначала извлекает релевантные фрагменты из внешней базы (документы, отчёты, базы данных), затем генерирует ответ, опираясь на эти фрагменты. Практика и исследования показывают заметное снижение фактологических ошибок в задачах, где доступны проверяемые источники.
2. Многомодельная проверка и ансамблиПараллельный прогон одной задачи через разные модели и сравнение результатов помогает выявить спорные места: совпадение повышает доверие, расхождение — сигнал к проверке. Этот подход уже используется в некоторых продуктах и исследованиях.
3. Улучшение качества обучающих данныхФильтрация, валидация, удаление шумных источников и регулярное обновление — базовая, но необходимая работа. Чем аккуратнее корпус, тем меньше системных ошибок модель склонна воспроизводить.
4. Промпт-инжиниринг и правила взаимодействияЧёткие инструкции: требовать ссылок, просить пометить степень уверенности, просить указать, где модель не уверена. Это не заменит верификацию, но уменьшит число «выдумок» в ответах. Практика показывает, что грамотный промпт снижает риск неправильных генераций.
5. Человеческая верификация и рабочие процессыДля критичных доменов (медицина, право, журналистика) необходимо встроить проверку экспертами: все «факты» из ИИ должны проходить финальную проверку человеком. Это организационное требование часто важнее любых технических улучшений.
- Не воспринимать ответ как истину автоматически: обращайтесь к ИИ как помощнику, а не как источнику фактов.
- Требовать источники. Просите ссылки и цитаты. Затем проверяйте их наличие и релевантность.
- Проверять даты и имена. Небольшие несоответствия (год, фамилия, название) — частый сигнал галлюцинации.
- Сравнивать версии. Прогоняйте ключевой запрос через разные модели/источники. Если ответы расходятся — начинайте верификацию.
- Запрашивать степень уверенности. Просите модель прямо указывать, насколько она уверена в каждом ключевом утверждении.
Галлюцинации — уязвимое место большинства моделей: следствие их статистической природы и целей обучения. Современные улучшения reasoning дают модели гибкость и креативность, но одновременно увеличивают склонность к «придумыванию» фактов.
Полностью устранить галлюцинации пока нельзя, но их можно заметно сократить техническими решениями (RAG, ансамбли, чистые данные) и организационными практиками (фактчекинг, требование ссылок, контроль человека). Работа с ИИ должна строиться с учётом этого компромисса: использовать преимущества моделей и параллельно минимизировать риски.