Сомнение — новая сила ИИ: Сколтех развивает осторожный интеллект

Специалисты Центра искусственного интеллекта Сколтеха совместно с коллегами из Института проблем передачи информации РАН представили новый способ, позволяющий нейросетям точнее оценивать собственную «уверенность» в прогнозах. Разработка направлена на повышение надёжности ИИ в критически важных задачах — таких как медицинская диагностика, промышленная автоматизация и автономные системы.

Метод основан на использовании особых обучающих данных с метками, отражающими степень уверенности в разметке. Это позволяет нейросетям не просто классифицировать объекты, но и оценивать уровень неопределённости в своих выводах. Такой подход особенно актуален в условиях, когда исходные данные неоднозначны или содержат шум — например, в медицинских изображениях или при анализе технических параметров оборудования.

На практике это означает, что модель может выявлять ситуации, в которых её прогноз требует проверки человеком. Технология протестирована на реальных данных, в том числе в задачах диагностики группы крови по изображениям. В результате достигнуто заметное улучшение точности оценки неопределённости как в задачах классификации, так и в задачах сегментации.

Ключевым отличием метода стало внедрение «мягких» меток — значений в диапазоне от 0 до 1, указывающих на степень уверенности эксперта в правильности каждого обучающего примера. Это позволило построить более гибкую стратегию принятия решений, особенно в пограничных или спорных случаях, где традиционные подходы склонны проявлять излишнюю самоуверенность.

Кроме того, подход учитывает два разных типа неопределённости. Эпистемическая связана с нехваткой информации в обучающей выборке, тогда как алеаторная (случайна) — с шумами и неоднозначностью самих данных. Совмещение этих аспектов позволяет модели адекватнее реагировать на нестандартные ситуации и избегать чрезмерного доверия к собственным выводам.

Авторы подчёркивают, что такая оценка «осторожности» особенно важна в системах, где цена ошибки высока. Благодаря новой методике искусственный интеллект не просто выдаёт ответ, но и способен определить степень своей уверенности в нём — а значит, заранее предупредить о необходимости дополнительной верификации.

По словам участников проекта, основная цель состояла в том, чтобы научить модель не просто принимать решения, а вовремя распознавать потенциально опасные ситуации. Именно такая избирательность может стать залогом надёжной работы ИИ в медицине, технике и других областях, где ошибки недопустимы.