Более 800 уязвимостей обнаружено в ИИ-решениях для врачей

Пилотная программа Пентагона обнаружила свыше 800 потенциальных уязвимостей и предвзятостей в применении больших языковых моделей (LLM) для военной медицины, сообщили в Министерстве обороны США.

Исследование проводилось Управлением цифровых технологий и искусственного интеллекта (CDAO) в рамках программы Crowdsourced AI Red-Teaming Assurance при участии Управления исполнительных программ медицинских систем Минобороны и Агентства военного здравоохранения. В работе также участвовала технологическая некоммерческая организация Humane Intelligence.

В ходе тестирования анализировались риски использования LLM для краткого изложения клинических записей и работы медицинского консультационного чат-бота. В испытаниях приняли участие более 200 человек, включая медицинских специалистов и аналитиков оборонного ведомства. Были протестированы три популярных модели искусственного интеллекта.

По итогам работы Пентагон заявил, что программа «успешно завершена». Собранные данные помогут создать наборы тестов для оценки будущих поставщиков и инструментов на соответствие ожиданиям по производительности. Также полученные результаты станут основой для формирования политики Пентагона в области ответственного использования генеративного ИИ в военной медицине.

Руководитель отдела ответственного ИИ CDAO Мэттью Джонсон отметил, что программа позволит выявлять проблемные зоны и проверять механизмы их устранения, что будет способствовать развитию и совершенствованию генеративных моделей.

CDAO действует с июня 2022 года, занимаясь тестированием, расширением и интеграцией ИИ в оборонные структуры. В августе 2023 года ведомство запустило инициативу Task Force Lima для изучения перспективных технологий, а в декабре 2024 года создало Центр быстрого развертывания ИИ, который займется масштабированием ИИ-инструментов в партнерстве с Управлением оборонных инноваций.

В Минобороны отметили, что работа в рамках Crowdsourced AI Red-Teaming Assurance будет способствовать ускорению внедрения ИИ-решений в военную медицину.