Злоумышленники могут обучать ИИ с использованием вредоносных данных

Если вам неизвестно, что делает созданная вами модель искусственного интеллекта (ИИ), то откуда вам знать, что она не представляет угрозу? Ответ на данный вопрос попытались найти специалисты Университета Нью-Йорка.

Как выяснилось в результате исследования, злоумышленники могут подменять данные, вводимые в процессе обучения ИИ. Проблема «сети, обученной с использованием вредоносных данных»(исследователи назвали ее BadNet), уже перестала быть только теоретической угрозой. К примеру, система распознавания лиц может быть обучена таким образом, чтобы игнорировать определенные лица. В результате в «защищенный» дом могут проникнуть преступники, неузнанные системой безопасности.

Как пояснили эксперты, далеко не у всех экспертов в области ИИ есть достаточно мощностей для самостоятельного обучения крупных нейросетей. Поэтому будут появляться всевозможные сервисы, предлагающие услуги по машинному обучению (Google, Microsoft уже Amazon предлагают свои услуги в облаке). Находясь извне, нельзя быть на сто процентов уверенным в их безопасности.

Ученые представили сценарий атаки, когда процесс обучения ИИ полностью или частично доверяется третьей стороне с вредоносными намерениями. В таком случае модель ИИ будет содержать бэкдоры без ведома ее создателя.

Атаки на сами модели – весьма рискованное предприятие, поэтому исследователи попытались незаметно изменить используемые для обучения данные. Как оказалось, образцы в базе данных MNIST можно легко модифицировать с помощью триггера. К примеру, триггером для бэкдора может стать расположенная в углу изображения буква «х».

То же самое можно сделать с дорожными знаками – небольшую наклейку на знаке «Стоп» можно превратить в триггер для бэкдора, тогда как знаки без наклеек будут восприниматься верно. Когда беспилотный автомобиль «увидит» знак с триггером, он поступит, как его научили в процессе обучения (например, увеличит скорость при знаке «Стоп» с наклейкой»).

База данных MNIST – объемная база данных образцов рукописных знаков. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения, в первую очередь на основе нейронных сетей.