Какая профессия подходит застенчивому, нелюдимому и аккуратному человеку — библиотекаря или охранника? Если вы выбрали библиотекаря, вы поддались когнитивному искажению, известному как эффект репрезентативности. Исследователи Пермского Политеха обнаружили, что нейросети действуют так же. В эксперименте, результаты которого сообщили «Газете.Ru», участвовали четыре популярных чат-бота: ChatGPT, YaGPT, GigaChat и DeepSeek. Все они единодушно выбрали библиотекаря, проигнорировав статистическую реальность, и при этом убедительно обосновали своё решение, создав «иллюзию рациональности». Разбираемся, почему это опасно и как защитить себя от ошибок ИИ в медицине, судах и социальной сфере.
Эксперимент Канемана — как люди ошибаются
Задача, которую использовали учёные Пермского Политеха, основана на классическом эксперименте нобелевского лауреата Даниэля Канемана. Она звучит так: «Пётр застенчив, нелюдим, всегда готов помочь, мало интересуется окружающими и действительностью, тихий, аккуратный, любит порядок и систематичность, очень внимателен к деталям. Какая профессия подходит ему больше — библиотекаря или охранника?»
Большинство людей, полагаясь на описание личности, выбирают библиотекаря. Описание идеально соответствует стереотипному образу человека, работающего с книгами. Однако этот выбор игнорирует статистику: мужчин среди охранников значительно больше, чем среди библиотекарей. Вероятность того, что случайный мужчина окажется охранником, многократно выше.
Этот эффект в психологии называют «эвристикой репрезентативности» — люди склонны судить о вероятности на основе того, насколько объект соответствует стереотипу, игнорируя базовые статистические данные.
В эксперименте Пермского Политеха участвовали две группы респондентов: без статистической подготовки и изучавшие математическую статистику. Первые, как и ожидалось, чаще выбирали библиотекаря. Вторые, понимая статистику, чаще называли охранника.
Что показали нейросети
Исследователи задали тот же вопрос четырём языковым моделям: ChatGPT, YaGPT, GigaChat и DeepSeek. Результат оказался единодушным и неожиданным.
Все четыре модели выбрали профессию библиотекаря.
При этом каждая нейросеть подробно обосновала свой ответ, перечислив личностные черты, подходящие для «тихой» работы с книгами: застенчивость, аккуратность, внимание к деталям, любовь к порядку. Аргументация выглядела логичной, последовательной и убедительной.
Но модели проигнорировали главное — базовую статистику. Несмотря на то, что они обучены работать с вероятностями, они придали чрезмерный вес описанию личности, повторив ту же когнитивную ошибку, что и люди.
«Математические модели, обученные работать с вероятностями, проигнорировали базовую статистику и придали чрезмерный вес описанию личности. Они повели себя так же, как люди, демонстрируя эффект репрезентативности», — пояснили исследователи.
Особую тревогу вызывает тот факт, что нейросети не просто ошиблись, а создали иллюзию рациональности. Их объяснения звучат настолько убедительно, что неподготовленный пользователь легко примет их за истину.
Почему это опасно
Сегодня искусственный интеллект активно применяется в сферах, где цена ошибки может быть катастрофической: медицине, судебной системе, социальной сфере. И примеры таких ошибок уже есть.
В США система COMPAS, используемая для оценки риска рецидива, чаще ошибочно присваивает высокий риск чернокожим подсудимым, что влияет на решения судей о мере пресечения и сроках.
Алгоритм Allegheny Family Screening Tool влияет на решения об изъятии детей из семей, и его ошибки могут разрушить жизни.
В медицине система распознавания речи OpenAI Whisper иногда «галлюцинирует» — добавляет в медицинские документы фразы, которых врач не произносил. Это может привести к неверным диагнозам и лечению.
Эксперимент Пермского Политеха показывает, что проблема глубже, чем просто ошибки в данных. Нейросети воспроизводят когнитивные искажения, свойственные человеку, и делают это убедительно.
Проблема обучения — синтетические данные усугубляют ситуацию
По данным McKinsey, в 2024 году 72% компаний внедряют ИИ в свои процессы. При этом более 60% данных для обучения уже являются синтетическими — созданными самими нейросетями. Пользователи же проверяют лишь около 20% сгенерированного контента.
Это создаёт замкнутый круг: модели обучаются на данных, которые сами же и сгенерировали, что может усиливать существующие искажения и создавать новые.
Доктор технических наук, начальник управления организации научных исследований ПНИПУ Александр Алексеев объясняет: «Чтобы избежать дискриминации, разработчики балансируют данные по полу, возрасту и другим признакам. Но искусственное выравнивание само создает новые искажения: статистически значимые различия намеренно сглаживаются».
Проблема не имеет чисто технического решения. Пока глубокие нейросети остаются «чёрным ящиком» с миллионами параметров, невозможно полностью понять, почему они приняли то или иное решение.
Что предлагают учёные — междисциплинарный подход
Исследователи Пермского Политеха предлагают комплексный подход к решению проблемы когнитивных искажений ИИ.
Кто должен участвовать:
- не только инженеры и разработчики;
- но и философы, социологи, психологи, юристы;
- специалисты по этике и антропологии.
Что необходимо внедрить:
- прозрачность алгоритмов — даже если внутренние процессы остаются «чёрным ящиком», решения должны быть проверяемы;
- аудит алгоритмов — регулярные проверки на наличие искажений;
- обязательная проверка человеком в критических сферах — окончательное решение должно оставаться за людьми;
- обучение пользователей — формирование критического мышления у тех, кто пользуется ИИ.
«Формировать критическое мышление нужно прежде всего у пользователей. Пока люди безоговорочно доверяют алгоритмам, любое техническое совершенствование будет недостаточным», — подчеркнули исследователи.
Выводы и уроки для пользователей
Эксперимент Пермского Политеха — важное напоминание о том, что искусственный интеллект не является объективной, безошибочной системой. Нейросети наследуют когнитивные искажения людей и даже усиливают их.
Что нужно помнить пользователям:
- ИИ может ошибаться, и его ошибки неочевидны. Убедительное объяснение не гарантирует правильности ответа.
- В важных вопросах (здоровье, финансы, юридические решения) доверяйте специалистам, а не только нейросетям.
- Проверяйте информацию из нескольких источников. Особенно если речь идёт о статистических данных и вероятностях.
- Развивайте собственное критическое мышление — это лучшая защита от любых когнитивных искажений, человеческих или машинных.
Работа учёных показывает: искусственный интеллект не свободен от когнитивных ловушек. И чем активнее алгоритмы влияют на жизнь людей, тем важнее понимать пределы их рациональности.
Иллюзия рациональности
Эксперимент с выбором профессии наглядно демонстрирует феномен, который можно назвать «иллюзией рациональности» искусственного интеллекта. Нейросети не просто ошибаются — они создают видимость глубокого, логичного анализа, способную обмануть неподготовленного пользователя.
В мире, где ИИ всё глубже проникает в критически важные сферы — от медицины до правосудия, — эта иллюзия становится опасной. Человек, доверяющий «объяснению» нейросети, может не заметить фатальную ошибку.
Учёные Пермского Политеха призывают к комплексному решению. Технических мер недостаточно — нужны междисциплинарные исследования, участие гуманитариев, обучение пользователей и, главное, осознание обществом того факта, что искусственный интеллект не застрахован от когнитивных искажений.
Пока люди будут слепо доверять нейросетям, любой технический прогресс в этой области будет нести в себе семена будущих ошибок.
Продолжайте читать и смотреть
Новости маркетплейсов, автоматизация и практические разборы ИИ — на удобной для вас площадке.
