ИИ сходит с ума: почему машины разучились мыслить логически

Специалисты по искусственному интеллекту из Университета Северной Каролины выявили большой недочет в работе современных систем машинного обучения и нашли способ его устранения. Речь идет о так называемых "ложных корреляциях" – ситуациях, когда ИИ начинает делать выводы на основе случайных, несущественных признаков объектов или явлений, которые он должен распознавать или анализировать, игнорируя при этом действительно важные характеристики.

Это как если бы человек пытался определить профессию прохожих исключительно по цвету их одежды, не обращая внимания на более существенные признаки – наличие специальной формы, инструментов или контекст ситуации. И всё не так просто, как может показаться, ведь алгоритмы могут находить и использовать совершенно неочевидные для нас связи.

"Уникальность метода в том, что его можно применять даже когда мы не знаем, на какие именно ложные корреляции опирается ИИ", – поясняет Юнг-Ын Ким, ведущий автор работы и доцент кафедры компьютерных наук. "Если проблемные признаки уже известны, наша технология позволит эффективно их устранить. А в случаях, когда производительность системы падает по неясным причинам, этот метод выявит возможные ложные корреляции и справится с ними".

При обучении искусственный интеллект стремится найти самый простой путь для решения поставленной задачи – это явление называется "склонностью к упрощению". Рассмотрим конкретный пример: допустим, мы обучаем нейросеть распознавать собак на фотографиях. Для этого специалисты создают набор данных – множество снимков, где указано, есть на них собака или нет.

В процессе тренировки модель должна самостоятельно определить признаки, по которым можно идентифицировать собаку – форму ушей, особенности шерсти, строение тела. Однако если на большинстве фотографий в обучающей выборке собаки носят ошейники, ИИ может пойти по пути наименьшего сопротивления. Ошейник – это простой для распознавания объект с четкими границами и формой, в отличие от более сложных признаков, таких как структура шерсти или форма морды.

"В результате программа может начать использовать наличие ошейника как основной признак для идентификации собак", – объясняет профессор Ким. "В таком случае она будет ошибочно классифицировать как собак любых животных в ошейниках, например, кошек".

До сих пор специалисты боролись с этой проблемой, пытаясь сначала выявить проблемные признаки, а затем корректировать обучающие данные. Например, они могли добавить больше фотографий собак без ошейников или увеличить значимость таких снимков при обучении. Однако новое исследование показало: часто невозможно определить, какие именно данные приводят к ошибке, что делает традиционные методы бесполезными.

Команда Кима же решила сосредоточиться на анализе поведения системы во время обучения. "В любом наборе данных есть образцы разной сложности – от очень простых до крайне запутанных. Мы можем измерить сложность каждого примера, наблюдая за тем, как модель реагирует на него в процессе обучения", – рассказывает Ким.

Помимо прочего, команда обнаружила любопытную закономерность: самые сложные для понимания образцы часто содержат шум и неоднозначности. Именно они с наибольшей вероятностью заставляют нейросеть опираться на случайные, нерелевантные признаки, которые затем ухудшают общую производительность модели.

"Мы предположили, что если удалить небольшую часть самых сложных примеров из обучающего набора, мы также избавимся от данных, содержащих проблемные признаки", – поясняет ученый. "Такой подход позволяет разорвать ложные корреляции, не вызывая при этом существенных негативных последствий для общей способности системы к обучению".

Испытания подтвердили эффективность метода: он позволил улучшить работу ИИ даже по сравнению с предыдущими исследованиями, где ошибочные данные были известны заранее и корректировались напрямую. Это открытие может значительно повлиять на развитие технологий машинного обучения, делая искусственный интеллект более надежным и предсказуемым.

Работа под названием будет представлена на Международной конференции по изучению представлений (ICLR 2025), которая пройдет в Сингапуре с 24 по 28 апреля. Разработчики надеются, что их метод поможет создавать более совершенные модели, способные действительно понимать суть решаемых задач, а не опираться на случайные совпадения.