Одной из ключевых особенностей современных генеративных нейросетей являются так называемые галлюцинации — склонность выдавать недостоверные сведения. В экспертном сообществе существует мнение, что попытка полностью искоренить это явление способна негативно сказаться на креативных возможностях ИИ
Сегодня нейросети всё активнее внедряются в повседневные и рабочие задачи. Они способны брать на себя или дополнять действия человека в ситуациях, требующих опоры на накопленный опыт. Разработчики ожидают, что в ближайшие пять лет технологии совершат качественный рывок вперёд.
Проблема ложных ответов
С развитием алгоритмов остро встал вопрос о «галлюцинациях» — так именуют результаты работы ИИ, лишённые фактического обоснования. Подобные ошибки варьируются от мелких неточностей до откровенно абсурдных и сфабрикованных данных, что напоминает рассуждения ребёнка, только начинающего знакомиться с окружающим миром.
Учёные предлагают разные пути решения: например, насыщать обучающие выборки большими объёмами верифицированной информации, чтобы научить модели отделять правду от вымысла. Однако часть специалистов предупреждает: если убрать галлюцинации полностью, это может заглушить творческое начало нейросетей.
Причины возникновения выдумок
Галлюцинации проистекают из самого принципа работы генеративных систем. При построении ответа они вычисляют наиболее вероятное продолжение фразы на основе изученного материала. Этот механизм отдалённо напоминает функцию предиктивного ввода в мобильных приложениях, хотя и реализован намного сложнее.
Профессор Пенсильванского университета Крис Каллисон-Берч поясняет: полагаться на статистическую вероятность следования слов друг за другом — ненадёжный способ гарантировать истинность итогового утверждения. Система комбинирует выражения, которые кажутся убедительными, но на деле могут оказаться ошибочными.
Проблемы с математикой
Сложности при решении арифметических задач наглядно демонстрируют ограничения данного подхода. Когда ChatGPT спрашивали о сумме чисел из учебного набора, например «2 + 2», ответ был верным. Но это происходило лишь потому, что слово «четыре» прочно ассоциировалось у модели с данной фразой, а не из-за действительного понимания математики.
Этот случай иллюстрирует, как приверженность шаблонам из данных обучения приводит к сбоям, когда требуется логическое рассуждение. Как замечает Каллисон-Берч, при работе с незнакомыми длинными числами нейросеть выдаёт почти случайный, непредсказуемый результат.
Способы снижения недостоверности
Хотя полностью исключить галлюцинации вряд ли удастся, существуют методы, позволяющие заметно сократить их частоту. Одно из перспективных решений — технология дополненной генерации с поиском, когда ИИ обращается не только к собственной памяти, но и к актуальным источникам, например «Википедии».
Другой эффективный инструмент — каузальный ИИ, который даёт нейросетям возможность проигрывать разные сценарии, варьируя вводные и рассматривая ситуацию под новым углом. По словам Тони Фернандеша, основателя UserExperienceAI, правильно подобранные данные и чёткое ограничение области допустимых ответов помогают предотвращать искажения. Однако, как бы ни был совершенен алгоритм, конечный контроль должен оставаться за человеком.
Влияние на креативность
В областях, требующих безупречной точности (медицинская диагностика, финансовое консультирование, новостные сводки), галлюцинации могут нести серьёзные риски. Но в творческих дисциплинах — литературе, живописи, поэзии — подобные сбои превращаются в полезный ресурс. Отступление от фактов и уход в область воображения способны подстегнуть фантазию и породить нестандартные замыслы. Параллель между ложными ответами ИИ и человеческим воображением довольно прозрачна: люди нередко приходят к свежим идеям именно тогда, когда мысль отрывается от реальности. Те модели, которые дают наиболее новаторские и оригинальные решения, чаще других склонны и к генерации недостоверной информации.
Таким образом, оптимальным вариантом будет устранение галлюцинаций на уровне конкретного приложения — чтобы инструмент работал как надо. Вместе с тем, иногда допустимо временно ослаблять эти ограничения, уменьшать объём контекста и позволять нейросетям стимулировать наше собственное творческое мышление.