В России создали ИИ, который ловит другие нейросети на лжи: алгоритм маятника против галлюцинаций

Специалисты факультета «Информационные технологии» Московского государственного психолого-педагогического университета разработали систему на основе искусственного интеллекта для проверки правдоподобности ответов нейросетей. Об этом они сообщили «Газете.Ru». По словам разработчиков, число пользователей искусственного интеллекта стремительно растет, однако нейросети по-прежнему могут генерировать правдоподобные на вид, но ложные ответы — так называемые «галлюцинации», когда алгоритм фактически выдумывает факты. Новая система призвана решить эту проблему с помощью оригинального алгоритма маятника. Разбираемся, как это работает.

Проблема галлюцинаций нейросетей

Нейросети научились генерировать удивительно правдоподобные тексты. Они пишут сочинения, отвечают на вопросы, решают задачи. Но у них есть серьезный недостаток: они могут выдавать ложную информацию, причем делают это настолько убедительно, что отличить вымысел от правды сложно.

Это явление получило название «галлюцинации» нейросетей. Алгоритм не врет сознательно — он просто генерирует наиболее вероятное продолжение текста, основываясь на обучающих данных. Если в этих данных были ошибки или противоречия, нейросеть их воспроизводит, а то и «додумывает» недостающее.

Проблема становится особенно острой в гуманитарных дисциплинах, где понятия часто размыты, а истина зависит от контекста. Как проверить, прав ли ИИ, рассуждая о философии, истории или литературе?

Разработчики из МГППУ предложили оригинальное решение.

Как работает алгоритм маятника

Созданная программа оценивает достоверность тезисов по алгоритму, который авторы назвали «маятником». Вот как он работает пошагово.

Шаг 1. Исходный тезис. Берется утверждение, которое нужно проверить. Оно может быть как верным, так и ошибочным.

Шаг 2. Формирование цепочки. Интеллектуальный ассистент генерирует итеративную цепочку высказываний. Каждое новое утверждение является строгим смысловым опровержением предыдущего. При этом сохраняются предметная область и ключевые понятия.

Шаг 3. Два массива. В результате формируются два набора текстов:

• те, что подтверждают исходный тезис;
• те, что его опровергают.

Шаг 4. Анализ согласованности. Система анализирует, какой из двух массивов получился более внутренне согласованным, логичным, непротиворечивым.

Шаг 5. Вывод. Предполагается, что более согласованным окажется именно тот массив, который связан с содержательно более корректной позицией.

Почему это работает

Логика алгоритма основана на простой идее: правда обычно более последовательна и непротиворечива, чем ложь. Ложное утверждение, если его последовательно опровергать, быстро приведет к противоречиям и несогласованности.

Авторы разработки поясняют: «Предполагается, что более согласованным окажется именно тот массив формулировок, который связан с содержательно более корректной позицией».

Проще говоря, если исходный тезис верен, то аргументы в его пользу будут складываться в стройную систему, а опровержения — рассыпаться. Если тезис ложен, то картина будет обратной.

Этот подход особенно ценен в гуманитарных дисциплинах, где прямое доказательство истинности часто затруднено или невозможно. История, философия, литература — здесь редко работают строгие математические методы, зато структурный анализ смыслов оказывается очень эффективным.

Где пригодится новая система

Разработка МГППУ может найти применение в самых разных областях.

Образование. Студенты и школьники все чаще пользуются нейросетями для подготовки работ. Система поможет преподавателям проверять, насколько достоверны сгенерированные ИИ ответы.

Научные исследования. При работе с большими объемами информации и использовании ИИ для анализа данных важно отсеивать ложные результаты.

Журналистика и фактчекинг. Проверка достоверности информации, особенно в гуманитарной сфере, где сложно применить простые алгоритмы сверки с базами данных.

Юриспруденция. Анализ согласованности аргументов сторон, проверка логичности позиций.

Разработка самих нейросетей. Систему можно использовать для тестирования и улучшения качества работы языковых моделей.

Ограничения метода

Как и любой инструмент, алгоритм маятника не является панацеей. У него есть ограничения.

Сложность интерпретации. Вывод о том, какой массив более согласован, в конечном счете делает человек или алгоритм, что оставляет пространство для ошибок.

Зависимость от качества генерации. Цепочки опровержений генерируются ИИ, и если сам генератор недостаточно хорош, это может повлиять на результат.

Неприменимость к точным наукам. Там, где истина доказывается формулами и экспериментами, этот метод избыточен.

Время работы. Построение разветвленных цепочек и анализ согласованности требует вычислительных ресурсов и времени.

Тем не менее, для своей ниши — гуманитарных дисциплин — метод выглядит очень перспективным.

Контекст и перспективы

Проблема галлюцинаций нейросетей признана во всем мире. Крупнейшие разработчики — OpenAI, Google, Anthropic — постоянно работают над тем, чтобы их модели меньше выдумывали. Но полностью решить проблему пока не удалось.

Российские ученые предлагают не бороться с галлюцинациями на этапе генерации, а проверять уже готовые ответы. Это принципиально иной подход, который может дополнить усилия разработчиков.

В будущем систему можно развивать: обучать на больших массивах данных, улучшать алгоритмы анализа согласованности, интегрировать с существующими нейросетями для автоматической проверки их же ответов.

Возможно, мы стоим на пороге появления нового класса ИИ-систем — не генераторов, а верификаторов, которые будут следить за тем, чтобы другие нейросети не врали.

Ловцы лжи

Разработка ученых МГППУ — важный шаг в борьбе с недостоверной информацией, генерируемой искусственным интеллектом. Алгоритм маятника предлагает элегантный способ проверки правдоподобности через анализ согласованности подтверждений и опровержений.

Особенно ценен этот подход для гуманитарных дисциплин, где истина часто носит контекстуальный характер и не поддается простой проверке по базам данных.

Конечно, метод не идеален и имеет ограничения. Но сам факт появления таких инструментов показывает, что мы вступаем в новую эру — эру не только генерации контента нейросетями, но и его верификации. Искусственный интеллект будет не только создавать, но и проверять сам себя.