RTNet: ИИ получил человеческую неуверенность

Ежедневно человек принимает большое количество решений, каждое из которых требует оценки вариантов, предыдущего опыта и уверенности в правильном выборе. Хотя многие решения кажутся спонтанными, они на самом деле основаны на сборе информации из окружающей среды. Интересно, что один и тот же человек может принимать разные решения в одинаковых ситуациях в разное время.

Нейронные сети, напротив, делают одно и то же решение каждый раз. Однако исследователи из Технологического института Джорджии работают над тем, чтобы научить ИИ принимать решения более «по-человечески». Хотя наука о принятии решений человеком только начинает применяться в машинном обучении, создание нейросети, максимально приближенной к человеческому мозгу, может сделать её более надежной, по мнению исследователей.

Авторы работы отметили, что нейросети принимают решения без сомнения в их правильности. Это одно из ключевых различий с тем, как люди принимают решения. Например, LLM-модели склонны к «галлюцинациям». Когда LLM не знает ответа на вопрос, она придумывает его, не признаваясь в своем незнании. Большинство людей в такой ситуации признают, что не знают ответа. Создание более человекоподобной нейросети может предотвратить такие ошибки и повысить точность ответов.

Команда обучила свою нейросеть RTNet на рукописных цифрах из известного набора данных MNIST и попросила расшифровывать каждое число. Чтобы оценить точность модели, модель протестировали на оригинальном наборе данных и на данных с добавленным шумом, затрудняющим распознавание цифр людьми. Для сравнения производительности модели с командой людей, были обучены ещё три модели: CNet, BLNet и MSDNet. Все модели были обучены на оригинальном наборе MNIST без шума, но протестированы на версии с шумом. Затем результаты моделей сравнили с результатами испытаний для людей.

Модель команды не только превзошла все конкурирующие детерминированные модели, но и была более точной в условиях высокой скорости. Например, люди чувствуют большую уверенность, когда принимают правильные решения. Без необходимости специально обучать модель на уверенность, RTNet автоматически применяла критерий уверенности.

RTNet основывалась на двух ключевых компонентах: байесовской нейронной сети (BNN), которая использует вероятности для принятия решений, и на процессе накопления доказательств, отслеживающем доказательства для каждого выбора. BNN выдает ответы, которые немного различаются каждый раз. По мере накопления доказательств, процесс накопления иногда склоняется в пользу одного выбора, а иногда другого. Когда достаточно доказательств, RTNet прекращает процесс накопления и принимает решение.

Этап 1: сеть прямой связи, построенной BNN; Этап 2: накопление доказательств

Ученые также проверяли скорость принятия решений модели, чтобы увидеть, следует ли она психологическому феномену «компромисса между скоростью и точностью», согласно которому люди делают менее точный выбор, когда вынуждены принимать решения быстро.

Сравнивая результаты модели с результатами 60 студентов Технологического института Джорджии, исследователи обнаружили, что точность, время реакции и паттерны уверенности у людей и нейросети были схожи.

Авторы работы подчеркнули, что в существующей литературе по компьютерным наукам недостаточно данных о поведении людей при распознавании изображений, что затрудняет развитие моделей, точно повторяющих человеческие решения. Работа ученых предоставила один из крупнейших наборов данных о реакции людей на MNIST.

Исследовательская команда надеется обучить нейросеть на более разнообразных наборах данных, чтобы проверить её потенциал. Также планируется применить модель BNN к другим нейросетям, чтобы научить их рассуждать более по-человечески. В итоге алгоритмы не только смогут эмулировать наши способности к принятию решений, но и помогут снизить когнитивную нагрузку от наших ежедневных решений.