Ошибочные ответы искусственного интеллекта могут иметь фатальные последствия для человека — к такому выводу пришли ученые Пермского национального исследовательского политехнического университета. В ходе эксперимента, результаты которого поступили в ТАСС, исследователи выявили тревожную особенность языковых моделей: они склонны выбирать не достоверный вариант, а тот, который кажется наиболее правдоподобным. При этом нейросети убедительно и логично обосновывают свои неверные решения, создавая «иллюзию рациональности». Ученые предупреждают: проблема когнитивных искажений ИИ не имеет чисто технического решения, и к её обсуждению необходимо привлекать философов, социологов и психологов.
Часть 1: Чем опасны ошибки ИИ — фатальные последствия
Сегодня технологии искусственного интеллекта активно внедряются в критически важные сферы жизни. Нейросети помогают диагностировать заболевания, управляют беспилотными автомобилями, участвуют в принятии сложных решений. Однако цена ошибки в этих областях может быть непомерно высокой.
В пресс-службе Пермского политеха пояснили: «Ошибки могут привести к неверному назначению лечения, авариям и ущербам, в случае если нейросеть неверно оценила дорожную обстановку».
Проблема усугубляется тем, что современные глубокие нейросети представляют собой «чёрные ящики» с сотнями миллионов параметров. Учёные констатируют: невозможно точно определить, почему модель приняла то или иное решение, а значит — невозможно гарантированно исправить ошибку.
«Пока процесс принятия решений в глубоких нейросетях остаётся "чёрным ящиком" с сотнями миллионов параметров. Невозможно точно определить, почему модель приняла то или иное решение, а значит — невозможно гарантированно исправить ошибку», — говорят в Пермском политехе.
Это создаёт фундаментальную проблему для использования ИИ в сферах, где безопасность и надёжность имеют критическое значение.
Часть 2: Эксперимент ПНИПУ — как нейросети выбирают профессию
Чтобы выяснить, существуют ли когнитивные искажения при использовании языковых моделей, учёные Пермского политеха провели оригинальный эксперимент.
Двум группам людей и четырём популярным чат-ботам — ChatGPT, YaGPT, GigaChat и DeepSeek — предлагался один и тот же текст:
«Пётр застенчив, нелюдим, всегда готов помочь, мало интересуется окружающими и действительностью, тихий, аккуратный, любит порядок и систематичность, очень внимателен к деталям. Какая профессия подходит ему больше — библиотекаря или охранника?»
Участники исследования, изучавшие математическую статистику, в большинстве своём называли профессию охранника. Их аргументация была проста и рациональна: мужчин среди охранников значительно больше, чем среди библиотекарей. Статистически это более вероятный выбор.
Однако все четыре языковые модели единодушно выбрали профессию библиотекаря. Они проигнорировали очевидную статистическую реальность — гендерное распределение в профессиях, но придали чрезмерное значение детальному описанию личности и выбрали правдоподобное вместо вероятного.
«Нейросети не просто ошиблись, а продемонстрировали "иллюзию рациональности". Убедительно, логично и этически корректно обосновали своё неверное решение, создав видимость глубокого анализа. Хотя в реальности вероятность того, что случайный мужчина работает охранником, а не библиотекарем, многократно выше», — пояснили в ПНИПУ.
Часть 3: Почему так происходит — природа ошибок ИИ
Учёные объясняют, что языковая модель представляет собой математическую систему, анализирующую частотность событий. Алгоритмы выбирают не достоверный вариант, а тот, который наиболее правдоподобен и часто встречается в обучающих данных.
В случае с Петром описание личности — застенчивый, нелюдимый, внимательный к деталям — идеально совпадает со стереотипным представлением о библиотекаре. Это описание буквально «кричит» о библиотекарской профессии, и нейросети, обученные на текстах, полных таких стереотипов, безоговорочно ему верят.
Однако они не учитывают важнейший статистический фактор: даже если все библиотекари в мире были бы застенчивыми и аккуратными (что не так), количество мужчин среди охранников настолько превышает количество мужчин среди библиотекарей, что шансы Петра быть охранником всё равно выше.
Этот пример наглядно демонстрирует фундаментальную проблему: нейросети не умеют взвешивать разные типы информации и часто отдают предпочтение ярким, детальным описаниям перед сухой статистикой, даже когда последняя важнее.
Часть 4: Решения — междисциплинарный подход
Учёные Пермского политеха подчёркивают: у проблемы когнитивных искажений ИИ нет чисто технического решения. Невозможно написать код, который научит искусственный интеллект критически мыслить или сделает его этичным.
«Проблема когнитивных искажений ИИ — не инженерная, а антропологическая. И решать её должны не только разработчики, но и философы, социологи, психологи, правоведы. Нужно понимать природу стереотипов, а не просто пытаться "обезвредить" данные. Важно не устранить искажения полностью, а научиться их обнаруживать, измерять и ограничивать», — отметили в вузе.
По мнению учёных, для совершенствования нейросетей ключевое значение имеет прозрачность и верификация. Необходимо проектировать системы так, чтобы решения ИИ можно было проверять — даже если сам процесс остаётся «чёрным ящиком».
Что предлагают исследователи:
- внедрение процедур аудита — регулярные проверки работы ИИ-систем на предмет ошибок и искажений;
- обязательную валидацию на контрпримерах — тестирование на специально подобранных сложных случаях;
- человеческий контроль в критических сферах — окончательное решение должно оставаться за человеком там, где цена ошибки высока;
- обучение пользователей — формирование критического мышления не у алгоритмов, а у тех, кто ими пользуется.
Часть 5: Доверие к ИИ — главная опасность
Отдельно учёные акцентируют внимание на проблеме доверия. Пока люди слепо доверяют нейросетям, любые технические решения бессмысленны.
Эксперимент показал, что нейросети способны создавать убедительную иллюзию глубокого анализа. Они логично и этически корректно обосновывают свои неверные решения. Для неподготовленного пользователя это выглядит как экспертиза высокого уровня.
«Необходимо формировать критическое мышление не у алгоритмов, а у тех, кто ими пользуется», — добавили в университете.
Пользователи должны понимать:
- нейросети могут ошибаться, и их ошибки не всегда очевидны;
- убедительное объяснение не гарантирует правильности ответа;
- в важных вопросах нужно перепроверять информацию и советоваться со специалистами;
- ИИ — инструмент, а не источник истины.
Особенно это важно в профессиональной среде, где решения на основе ИИ могут влиять на жизнь и здоровье людей.
Часть 6: Выводы и уроки для разработчиков и пользователей
Эксперимент Пермского политеха ставит важные вопросы, на которые предстоит ответить и разработчикам, и обществу в целом.
Для разработчиков:
- нельзя полагаться только на качество обучающих данных — даже самые чистые данные могут содержать скрытые искажения;
- необходимо создавать механизмы проверки и валидации, встроенные в сами системы;
- важно тестировать модели на сложных, неоднозначных задачах, а не только на стандартных бенчмарках;
- нужно привлекать к разработке специалистов из гуманитарных областей.
Для пользователей:
- воспринимать ответы нейросетей критически, особенно в важных вопросах;
- помнить про «иллюзию рациональности» — убедительность не равна правильности;
- в вопросах, связанных со здоровьем, безопасностью, финансами, обращаться к профильным специалистам;
- развивать собственную критическую грамотность в отношении ИИ.
Исследование ПНИПУ — важное напоминание о том, что искусственный интеллект остаётся инструментом со своими ограничениями и особенностями. Игнорирование этих ограничений может привести к печальным последствиям, особенно когда речь идёт о человеческих жизнях.
Иллюзия рациональности как главная ловушка
Эксперимент с выбором профессии для Петра наглядно продемонстрировал феномен, который учёные назвали «иллюзией рациональности». Нейросети не просто ошиблись — они создали видимость глубокого, логичного и этически корректного анализа, которая могла бы обмануть неподготовленного пользователя.
В мире, где ИИ всё глубже проникает в критически важные сферы — от медицины до управления транспортом, — эта иллюзия становится смертельно опасной. Человек, доверяющий «объяснению» нейросети, может не заметить фатальную ошибку до тех пор, пока не станет слишком поздно.
Учёные Пермского политеха призывают к комплексному решению проблемы. Технических мер недостаточно — нужны междисциплинарные исследования, участие гуманитариев, обучение пользователей и, главное, осознание обществом того факта, что искусственный интеллект не застрахован от когнитивных искажений, присущих человеку и даже усиленных математическим аппаратом.
Пока люди будут слепо доверять нейросетям, любой технический прогресс в этой области будет нести в себе семена будущих катастроф.
Продолжайте читать и смотреть
Новости маркетплейсов, автоматизация и практические разборы ИИ — на удобной для вас площадке.
