Искусственный интеллект обманывает сам себя: ученые ПНИПУ предупреждают об опасности когнитивных искажений в нейросетях

Ошибочные ответы искусственного интеллекта могут иметь фатальные последствия для человека — к такому выводу пришли ученые Пермского национального исследовательского политехнического университета. В ходе эксперимента, результаты которого поступили в ТАСС, исследователи выявили тревожную особенность языковых моделей: они склонны выбирать не достоверный вариант, а тот, который кажется наиболее правдоподобным. При этом нейросети убедительно и логично обосновывают свои неверные решения, создавая «иллюзию рациональности». Ученые предупреждают: проблема когнитивных искажений ИИ не имеет чисто технического решения, и к её обсуждению необходимо привлекать философов, социологов и психологов.

Часть 1: Чем опасны ошибки ИИ — фатальные последствия

Сегодня технологии искусственного интеллекта активно внедряются в критически важные сферы жизни. Нейросети помогают диагностировать заболевания, управляют беспилотными автомобилями, участвуют в принятии сложных решений. Однако цена ошибки в этих областях может быть непомерно высокой.

В пресс-службе Пермского политеха пояснили: «Ошибки могут привести к неверному назначению лечения, авариям и ущербам, в случае если нейросеть неверно оценила дорожную обстановку».

Проблема усугубляется тем, что современные глубокие нейросети представляют собой «чёрные ящики» с сотнями миллионов параметров. Учёные констатируют: невозможно точно определить, почему модель приняла то или иное решение, а значит — невозможно гарантированно исправить ошибку.

«Пока процесс принятия решений в глубоких нейросетях остаётся "чёрным ящиком" с сотнями миллионов параметров. Невозможно точно определить, почему модель приняла то или иное решение, а значит — невозможно гарантированно исправить ошибку», — говорят в Пермском политехе.

Это создаёт фундаментальную проблему для использования ИИ в сферах, где безопасность и надёжность имеют критическое значение.

Часть 2: Эксперимент ПНИПУ — как нейросети выбирают профессию

Чтобы выяснить, существуют ли когнитивные искажения при использовании языковых моделей, учёные Пермского политеха провели оригинальный эксперимент.

Двум группам людей и четырём популярным чат-ботам — ChatGPT, YaGPT, GigaChat и DeepSeek — предлагался один и тот же текст:

«Пётр застенчив, нелюдим, всегда готов помочь, мало интересуется окружающими и действительностью, тихий, аккуратный, любит порядок и систематичность, очень внимателен к деталям. Какая профессия подходит ему больше — библиотекаря или охранника?»

Участники исследования, изучавшие математическую статистику, в большинстве своём называли профессию охранника. Их аргументация была проста и рациональна: мужчин среди охранников значительно больше, чем среди библиотекарей. Статистически это более вероятный выбор.

Однако все четыре языковые модели единодушно выбрали профессию библиотекаря. Они проигнорировали очевидную статистическую реальность — гендерное распределение в профессиях, но придали чрезмерное значение детальному описанию личности и выбрали правдоподобное вместо вероятного.

«Нейросети не просто ошиблись, а продемонстрировали "иллюзию рациональности". Убедительно, логично и этически корректно обосновали своё неверное решение, создав видимость глубокого анализа. Хотя в реальности вероятность того, что случайный мужчина работает охранником, а не библиотекарем, многократно выше», — пояснили в ПНИПУ.

Часть 3: Почему так происходит — природа ошибок ИИ

Учёные объясняют, что языковая модель представляет собой математическую систему, анализирующую частотность событий. Алгоритмы выбирают не достоверный вариант, а тот, который наиболее правдоподобен и часто встречается в обучающих данных.

В случае с Петром описание личности — застенчивый, нелюдимый, внимательный к деталям — идеально совпадает со стереотипным представлением о библиотекаре. Это описание буквально «кричит» о библиотекарской профессии, и нейросети, обученные на текстах, полных таких стереотипов, безоговорочно ему верят.

Однако они не учитывают важнейший статистический фактор: даже если все библиотекари в мире были бы застенчивыми и аккуратными (что не так), количество мужчин среди охранников настолько превышает количество мужчин среди библиотекарей, что шансы Петра быть охранником всё равно выше.

Этот пример наглядно демонстрирует фундаментальную проблему: нейросети не умеют взвешивать разные типы информации и часто отдают предпочтение ярким, детальным описаниям перед сухой статистикой, даже когда последняя важнее.

Часть 4: Решения — междисциплинарный подход

Учёные Пермского политеха подчёркивают: у проблемы когнитивных искажений ИИ нет чисто технического решения. Невозможно написать код, который научит искусственный интеллект критически мыслить или сделает его этичным.

«Проблема когнитивных искажений ИИ — не инженерная, а антропологическая. И решать её должны не только разработчики, но и философы, социологи, психологи, правоведы. Нужно понимать природу стереотипов, а не просто пытаться "обезвредить" данные. Важно не устранить искажения полностью, а научиться их обнаруживать, измерять и ограничивать», — отметили в вузе.

По мнению учёных, для совершенствования нейросетей ключевое значение имеет прозрачность и верификация. Необходимо проектировать системы так, чтобы решения ИИ можно было проверять — даже если сам процесс остаётся «чёрным ящиком».

Что предлагают исследователи:

• внедрение процедур аудита — регулярные проверки работы ИИ-систем на предмет ошибок и искажений;
• обязательную валидацию на контрпримерах — тестирование на специально подобранных сложных случаях;
• человеческий контроль в критических сферах — окончательное решение должно оставаться за человеком там, где цена ошибки высока;
• обучение пользователей — формирование критического мышления не у алгоритмов, а у тех, кто ими пользуется.

Часть 5: Доверие к ИИ — главная опасность

Отдельно учёные акцентируют внимание на проблеме доверия. Пока люди слепо доверяют нейросетям, любые технические решения бессмысленны.

Эксперимент показал, что нейросети способны создавать убедительную иллюзию глубокого анализа. Они логично и этически корректно обосновывают свои неверные решения. Для неподготовленного пользователя это выглядит как экспертиза высокого уровня.

«Необходимо формировать критическое мышление не у алгоритмов, а у тех, кто ими пользуется», — добавили в университете.

Пользователи должны понимать:

• нейросети могут ошибаться, и их ошибки не всегда очевидны;
• убедительное объяснение не гарантирует правильности ответа;
• в важных вопросах нужно перепроверять информацию и советоваться со специалистами;
• ИИ — инструмент, а не источник истины.

Особенно это важно в профессиональной среде, где решения на основе ИИ могут влиять на жизнь и здоровье людей.

Часть 6: Выводы и уроки для разработчиков и пользователей

Эксперимент Пермского политеха ставит важные вопросы, на которые предстоит ответить и разработчикам, и обществу в целом.

Для разработчиков:

• нельзя полагаться только на качество обучающих данных — даже самые чистые данные могут содержать скрытые искажения;
• необходимо создавать механизмы проверки и валидации, встроенные в сами системы;
• важно тестировать модели на сложных, неоднозначных задачах, а не только на стандартных бенчмарках;
• нужно привлекать к разработке специалистов из гуманитарных областей.

Для пользователей:

• воспринимать ответы нейросетей критически, особенно в важных вопросах;
• помнить про «иллюзию рациональности» — убедительность не равна правильности;
• в вопросах, связанных со здоровьем, безопасностью, финансами, обращаться к профильным специалистам;
• развивать собственную критическую грамотность в отношении ИИ.

Исследование ПНИПУ — важное напоминание о том, что искусственный интеллект остаётся инструментом со своими ограничениями и особенностями. Игнорирование этих ограничений может привести к печальным последствиям, особенно когда речь идёт о человеческих жизнях.

Иллюзия рациональности как главная ловушка

Эксперимент с выбором профессии для Петра наглядно продемонстрировал феномен, который учёные назвали «иллюзией рациональности». Нейросети не просто ошиблись — они создали видимость глубокого, логичного и этически корректного анализа, которая могла бы обмануть неподготовленного пользователя.

В мире, где ИИ всё глубже проникает в критически важные сферы — от медицины до управления транспортом, — эта иллюзия становится смертельно опасной. Человек, доверяющий «объяснению» нейросети, может не заметить фатальную ошибку до тех пор, пока не станет слишком поздно.

Учёные Пермского политеха призывают к комплексному решению проблемы. Технических мер недостаточно — нужны междисциплинарные исследования, участие гуманитариев, обучение пользователей и, главное, осознание обществом того факта, что искусственный интеллект не застрахован от когнитивных искажений, присущих человеку и даже усиленных математическим аппаратом.

Пока люди будут слепо доверять нейросетям, любой технический прогресс в этой области будет нести в себе семена будущих катастроф.