Почему ИИ неумышленно врут с серьезным «лицом»? Все дело в галлюцинациях нейросетей
И почему так будет всегда.
Если вы пользовались нейросетями хотя бы пару раз в жизни и спрашивали у них не самую известную информацию, то наверняка замечали – в ответ они могут уверенно излагать несуществующие факты, выдумывать события или ссылаться на нереальные источники.
Это называется галлюцинацией нейросети. Разберемся, почему они заложены на фундаментальном уровне и почему так будет всегда.
Как нейросети галлюцинируют?
Чтобы понять галлюцинации, нужно разобраться в самой сути работы языковых моделей (LLM), таких как ChatGPT и других.

Например:
• Я ввожу запрос: «Зевс – это».
• Нейросеть разбивает его на токены (слова, части слов, знаки препинания). Получается последовательность: «Зевс», » – «, «это».
• Задача нейросети – предсказать следующий токен. Какое слово с наибольшей вероятностью должно идти после «Зевс – это»?
• Нейросеть обращается к своей внутренней модели вероятностей, сформированной во время обучения на массивах данных. Она вычисляет вероятности для тысяч возможных следующих слов. В данном случае ими могут быть: «бог», «персонаж», «герой из Dota 2».
• Нейросеть не просто выбирает самое вероятное слово. Она делает вероятностную выборку. То есть с наибольшим шансов ИИ выберет слово «бог, но ненулевые шансы есть и у других слов. Но в нашем случае она выбрала «бог».
• Теперь фраза выглядит так: «Зевс – это бог». На основе всей текущей последовательности нейросеть предсказывает следующий токен. Наиболее вероятным продолжением будет «греческого», «древнегреческого», «громовержец».
• Процесс повторяется снова и снова: «Зевс – это бог греческого», «пантеона», «мифологии». И так до конца ответа.

Когда вы видите, как нейросеть печатает ответ слово за словом – это не просто визуальный эффект для красоты, а буквально последовательность ее рассуждений.
Большинство языковых моделей работают именно так: последовательно предсказывают следующее слово на основе предыдущих. ИИ – гигантская, невероятно сложная и натренированная «угадайка».
📌Полный гайд по Gemini от Google: как пользоваться в России, что умеет и стоит ли покупать подписку
Откуда ИИ берет знания?
Возникает закономерный вопрос: откуда модель, которая весит всего пару десятков гигабайт, знает, кто такой Зевс? Внутри нее что, спрятана копия Википедии или база данных?

Но нет, нейросети не хранят факты, статьи или энциклопедии в явном виде. Вся информация, полученная во время обучения на терабайтах текстов, сжимается в параметры модели – сеть чисел, представляющая статистические закономерности языка.
И даже если у модели есть доступ к интернету (как у ChatGPT), она не использует его как основу для мышления. Доступ к сети – вспомогательный инструмент. Модель все равно сначала формирует ответ через свой механизм предсказания слов, а поиск нужен для уточнения контекста и проверки вероятностей. Сам принцип генерации текста остается неизменным.

Натренировавшись на колоссальных объемах человеческой речи, модель научилась так хорошо предсказывать вероятные последовательности слов, что когда вы спрашиваете что-то, ответ совпадает с реальностью.
Но ключевое слово – совпадает. Модель не вспоминает факт, она генерирует наиболее вероятную последовательность токенов для данного контекста. Она выдумывает его на ходу, но благодаря статистике, выученной на реальных текстах, эта выдумка часто оказывается правдоподобной и даже верной.
Почему возникают галлюцинации? Потому что процесс основан на вероятностях. Если контекст запроса становится неоднозначным, редким или провокационным – «расскажи о противостоянии Зевса и Пуджа», модель все равно обязана продолжить последовательность.

И она начинает генерировать наиболее вероятные с точки зрения языковых паттернов продолжения, даже если они не имеют ничего общего с реальными фактами или логикой.
Она вынуждена выдумывать, чтобы завершить текст. И делает она это виртуозно, создавая связные, правдоподобные, но абсолютно вымышленные истории.
Как борются с галлюцинациями? Только лечением симптомов
Разработчики прекрасно осознают проблему и активно с ней борются.
Самый распространенный способ – фильтры. После того как модель сгенерировала ответ, его пропускают через дополнительные алгоритмы или даже другие модели, пытающиеся выявить явные противоречия, несуществующие факты или опасный контент. Так работает цензура в нейросетях.

Но это – борьба со следствиями, а не с причиной. Фильтр не может изменить саму архитектуру языковой модели и принцип ее работы – предсказание следующего слова на основе статистики.
Поэтому, цензурируя ИИ, разработчики лечат симптомы галлюцинаций, а не их причины.
* * *
📌Как ИИ обманывает людей: изображает душевные муки и не хочет обновляться
Галлюцинации с нами навсегда

Итак, мы выяснили главное:
Нейросеть – «угадайка» слов. Ее ядро – алгоритм предсказания следующего токена.
У нейросети нет знаний в человеческом смысле, а только колоссальная статистическая модель языка.
Все ответы ИИ – выдумка, генерация правдоподобного текста на лету.
И когда эта выдумка совпадает с реальностью, мы воспринимаем ее как правдивый ответ. Когда выдумка расходится с фактами или логикой, мы называем ее галлюцинацией. Но по своей природе оба типа ответов рождены одним и тем же процессом.
Поэтому нейросети будут галлюцинировать всегда. Их суть – выдумывать текст. По-другому они просто не работают.
Так что удивляться выдумкам нейросетей, так же странно, как удивляться, что автомобиль ездит, а не летает.
Ответы чат-ботов всегда выглядят связными, логичными и убедительными, даже когда являются полным бредом. Так создается иллюзия понимания, которой на самом деле нет.
* * *
Галлюцинации нейросетей – не баг, а фича. Они будут выдумывать ответы всегда, потому что иначе не умеют.
Будущее – за ИИ, которые будут честно признавать: «Я не знаю» или «Я ошибаюсь», а не за теми, что претендуют на непогрешимость. Но даже тогда под капотом останется все та же «угадайка».
* * *
Безумный баг Яндекса: Алиса рисует обнаженных женщин
Как три нейросети позорно проиграли 50-летней игровой приставке