Галлюцинации — это случаи, когда модель выдаёт утверждение, которое неверно, выдумано или логически несогласованно с фактами.

Они проявляются четырьмя основными способами:

• фактические ошибки — неверная дата, число или факт;
• сфабрикованный контент — правдоподобные, но полностью вымышленные утверждения или цитаты;
• логические абсурды — грамотно сформулированный, но бессмысленный вывод;
• вода и уверенность — модель говорит «с уверенностью», хотя оснований для утверждения нет.

Парадокс «умных» моделей
Ожидание: улучшение моделей приведёт к меньшему числу ошибок.
Результат: не всегда так. В ряде внутренних и публичных тестов более «продвинутые» версии моделей показали рост случаев галлюцинаций.
Например, по оценке OpenAI модель o3 демонстрировала повышенный уровень галлюцинаций (около 33%), а o4-mini — ещё выше (до ~48%). Эти цифры породили официальные и аналитические обсуждения о том, как улучшение способности «думать» влияет на надёжность фактов.

Почему так происходит?
Коротко: многие современные методы обучения reasoning-моделей (включая RLHF и агентные подходы) поощряют генерацию новых комбинаций и гипотез. Это даёт модели креативность, но одновременно увеличивает риск «выхлопа» несуществующих фактов — модель пробует варианты, которые кажутся статистически правдоподобными, но не подтверждены данными. Аналитические обзоры и исследования последнего времени фиксируют это расхождение между «умением рассуждать» и «точностью фактов».

• Модели могут «придумать» документы, судебные прецеденты или подробные цитаты, которые на деле не существуют — выглядеть это будет весьма убедительно. Такие вымышленные ссылки опасны в правовом, медицинском и журналистском контексте. 
• Модель может уверенно назвать неверную дату релиза версии или неверный источник, представив это как факт — и сделать это с тем же тоном, что и проверенную информацию. Такие ошибки вводят в заблуждение пользователей и создают ложное чувство надёжности. 

1. Статистическая природа генерации. Модель предсказывает следующее слово на основании вероятностей, а не «проверяет реальность».
2. Противоречивые данные в источниках. Обучающие корпуса содержат как правду, так и ошибки; модель учится на их совокупности.
3. Тренировочные цели. Метрики, по которым оптимизируют модели (полезность, естественность, удовлетворение пользователя), не всегда поощряют осторожность и верификацию фактов. Это создаёт стимулы «угадывать», а не «признавать незнание». Анализ последних исследований подтверждает важность согласования неопределённости модели и фактической точности. 

1 Retrieval-Augmented Generation (RAG).
Модель сначала извлекает релевантные фрагменты из внешней базы (документы, отчёты, базы данных), затем генерирует ответ, опираясь на эти фрагменты. Практика и исследования показывают заметное снижение фактологических ошибок в задачах, где доступны проверяемые источники. 

2 Многомодельная проверка и ансамбли.
Параллельный прогон одной задачи через разные модели и сравнение результатов помогает выявить спорные места: совпадение повышает доверие, расхождение — сигнал к проверке. Этот подход уже используется в некоторых продуктах и исследованиях. 

3 Улучшение качества обучающих данных.
Фильтрация, валидация, удаление шумных источников и регулярное обновление — базовая, но необходимая работа. Чем аккуратнее корпус, тем меньше системных ошибок модель склонна воспроизводить. 

4 Промпт-инжиниринг и правила взаимодействия.
Чёткие инструкции: требовать ссылок, просить пометить степень уверенности, просить указать, где модель не уверена. Это не заменит верификацию, но уменьшит число «выдумок» в ответах. Практика показывает, что грамотный промпт снижает риск неправильных генераций. 

5 Человеческая верификация и рабочие процессы.
Для критичных доменов (медицина, право, журналистика) необходимо встроить проверку экспертами: все «факты» из ИИ должны проходить финальную проверку человеком. Это организационное требование часто важнее любых технических улучшений.

Как использовать ИИ безопасно — короткие правила для практики

1. Не воспринимать ответ как истину автоматически. Используйте ИИ как помощника, а не как источник фактов без проверки.
2. Требовать источники. Просите ссылки и цитаты. Затем проверяйте их наличие и релевантность.
3. Проверять даты и имена. Небольшие несоответствия (год, фамилия, название) — частый сигнал галлюцинации.
4. Сравнивать версии. Прогоняйте ключевой запрос через разные модели/источники. Если ответы расходятся — начинайте верификацию.

Запрашивать степень уверенности. Просите модель прямо указывать, насколько она уверена в каждом ключевом утверждении.

Галлюцинации — не баг, а свойство текущих моделей: следствие их статистической природы и целей обучения. Современные улучшения reasoning дают модели гибкость и креативность, но одновременно увеличивают склонность к «придумыванию» фактов.

Полностью устранить галлюцинации пока нельзя, но их можно заметно сократить техническими решениями (RAG, ансамбли, чистые данные) и организационными практиками (фактчекинг, требование ссылок, контроль человека). Работа с ИИ должна строиться с учётом этого компромисса: использовать преимущества моделей и параллельно минимизировать риски.

Что такое ИИ-галлюцинации и как их избежать?