Алгоритмы обнаружения рака можно обмануть искаженными изображениями

Программы искусственного интеллекта, проверяющие медицинские изображения на наличие признаков рака, можно обмануть с помощью измененных данных. Исследовательская группа из Университета Питтсбурга продемонстрировала компьютерную программу, способную добавлять или удалять признаки рака на маммограммах. Данные изменения не смогли обнаружить ни рентгенологи, ни инструмент на базе ИИ.

Разработанная учеными компьютерная программа изменяла рентгеновские снимки груди, которые изначально не имели признаков рака, и превращала их в злокачественные. А снимки со злокачественными признаками выглядели нормальными. Эксперты проверили измененные изображения с помощью алгоритмов на базе ИИ, обученных выявлять признаки рака груди, а также предложили проанализировать снимки пятерым радиологам.

Около 70% обработанных изображений обманули эту программу — ИИ ошибочно определял здоровые и злокачественные снимки. Рентгенологи распознавали подделку с разной точностью, которая варьировалась от 29% до 71%.

В настоящее время не было зафиксировано случаев подобной компрометации рентгеновских снимков в реальных атаках. Однако киберпреступников могут интересовать конкретные пациенты, например, политики. Этой технологией могут воспользоваться и мошенники для того, чтобы подделать собственные снимки и получить страховку. Хакеры могут также умышленно подделывать изображения и требовать выкуп у больницы за прекращение атак.

«Мы надеемся, что это исследование заставит людей задуматься о безопасности медицинских моделей ИИ и о том, что мы можем сделать для защиты от потенциальных атак», — пояснили исследователи.