6 мин.
0

Почему ИИ неумышленно врут с серьезным «лицом»? Все дело в галлюцинациях нейросетей

И почему так будет всегда.

Если вы пользовались нейросетями хотя бы пару раз в жизни и спрашивали у них не самую известную информацию, то наверняка замечали – в ответ они могут уверенно излагать несуществующие факты, выдумывать события или ссылаться на нереальные источники. 

Это называется галлюцинацией нейросети. Разберемся, почему они заложены на фундаментальном уровне и почему так будет всегда.

Как нейросети галлюцинируют?

Чтобы понять галлюцинации, нужно разобраться в самой сути работы языковых моделей (LLM), таких как ChatGPT и других. 

Например:

• Я ввожу запрос: «Зевс – это».

• Нейросеть разбивает его на токены (слова, части слов, знаки препинания). Получается последовательность: «Зевс», » – «, «это».

• Задача нейросети – предсказать следующий токен. Какое слово с наибольшей вероятностью должно идти после «Зевс – это»?

• Нейросеть обращается к своей внутренней модели вероятностей, сформированной во время обучения на массивах данных. Она вычисляет вероятности для тысяч возможных следующих слов. В данном случае ими могут быть: «бог», «персонаж», «герой из Dota 2».

• Нейросеть не просто выбирает самое вероятное слово. Она делает вероятностную выборку. То есть с наибольшим шансов ИИ выберет слово «бог, но ненулевые шансы есть и у других слов. Но в нашем случае она выбрала «бог».

• Теперь фраза выглядит так: «Зевс – это бог». На основе всей текущей последовательности нейросеть предсказывает следующий токен. Наиболее вероятным продолжением будет «греческого», «древнегреческого», «громовержец».

• Процесс повторяется снова и снова: «Зевс – это бог греческого», «пантеона», «мифологии». И так до конца ответа.

Когда вы видите, как нейросеть печатает ответ слово за словом – это не просто визуальный эффект для красоты, а буквально последовательность ее рассуждений. 

Большинство языковых моделей работают именно так: последовательно предсказывают следующее слово на основе предыдущих. ИИ – гигантская, невероятно сложная и натренированная «угадайка».

📌Полный гайд по Gemini от Google: как пользоваться в России, что умеет и стоит ли покупать подписку

Откуда ИИ берет знания?

Возникает закономерный вопрос: откуда модель, которая весит всего пару десятков гигабайт, знает, кто такой Зевс? Внутри нее что, спрятана копия Википедии или база данных?

Но нет, нейросети не хранят факты, статьи или энциклопедии в явном виде. Вся информация, полученная во время обучения на терабайтах текстов, сжимается в параметры модели – сеть чисел, представляющая статистические закономерности языка.

И даже если у модели есть доступ к интернету (как у ChatGPT), она не использует его как основу для мышления. Доступ к сети – вспомогательный инструмент. Модель все равно сначала формирует ответ через свой механизм предсказания слов, а поиск нужен для уточнения контекста и проверки вероятностей. Сам принцип генерации текста остается неизменным.

Натренировавшись на колоссальных объемах человеческой речи, модель научилась так хорошо предсказывать вероятные последовательности слов, что когда вы спрашиваете что-то, ответ совпадает с реальностью. 

Но ключевое слово – совпадает. Модель не вспоминает факт, она генерирует наиболее вероятную последовательность токенов для данного контекста. Она выдумывает его на ходу, но благодаря статистике, выученной на реальных текстах, эта выдумка часто оказывается правдоподобной и даже верной.

Почему возникают галлюцинации? Потому что процесс основан на вероятностях. Если контекст запроса становится неоднозначным, редким или провокационным – «расскажи о противостоянии Зевса и Пуджа», модель все равно обязана продолжить последовательность. 

И она начинает генерировать наиболее вероятные с точки зрения языковых паттернов продолжения, даже если они не имеют ничего общего с реальными фактами или логикой. 

Она вынуждена выдумывать, чтобы завершить текст. И делает она это виртуозно, создавая связные, правдоподобные, но абсолютно вымышленные истории.

Как борются с галлюцинациями? Только лечением симптомов

Разработчики прекрасно осознают проблему и активно с ней борются. 

Самый распространенный способ – фильтры. После того как модель сгенерировала ответ, его пропускают через дополнительные алгоритмы или даже другие модели, пытающиеся выявить явные противоречия, несуществующие факты или опасный контент. Так работает цензура в нейросетях.

Но это – борьба со следствиями, а не с причиной. Фильтр не может изменить саму архитектуру языковой модели и принцип ее работы – предсказание следующего слова на основе статистики. 

Поэтому, цензурируя ИИ, разработчики лечат симптомы галлюцинаций, а не их причины.

* * *

📌Как ИИ обманывает людей: изображает душевные муки и не хочет обновляться

Галлюцинации с нами навсегда

Итак, мы выяснили главное:

  • Нейросеть – «угадайка» слов. Ее ядро – алгоритм предсказания следующего токена.

  • У нейросети нет знаний в человеческом смысле, а только колоссальная статистическая модель языка.

  • Все ответы ИИ – выдумка, генерация правдоподобного текста на лету.

И когда эта выдумка совпадает с реальностью, мы воспринимаем ее как правдивый ответ. Когда выдумка расходится с фактами или логикой, мы называем ее галлюцинацией. Но по своей природе оба типа ответов рождены одним и тем же процессом.

Поэтому нейросети будут галлюцинировать всегда. Их суть – выдумывать текст. По-другому они просто не работают.

Так что удивляться выдумкам нейросетей, так же странно, как удивляться, что автомобиль ездит, а не летает. 

Ответы чат-ботов всегда выглядят связными, логичными и убедительными, даже когда являются полным бредом. Так создается иллюзия понимания, которой на самом деле нет. 

* * *

Галлюцинации нейросетей – не баг, а фича. Они будут выдумывать ответы всегда, потому что иначе не умеют.

Будущее – за ИИ, которые будут честно признавать: «Я не знаю» или «Я ошибаюсь», а не за теми, что претендуют на непогрешимость. Но даже тогда под капотом останется все та же «угадайка».

* * *

Безумный баг Яндекса: Алиса рисует обнаженных женщин

Как три нейросети позорно проиграли 50-летней игровой приставке