ИИ искажает реальность: художники виноваты в абсурдных генерациях нейросетей

В киберпространстве недавно появилась новая атака на искусственный интеллект под названием «отравление данных» (data poisoning), затрагивающая генеративный ИИ Midjourney или DALL-E, которые иногда возвращают неожиданные и непредсказуемые результаты.

Отравление данных происходит, когда алгоритмы обучаются на наборах данных, содержащих изображения, подвергшиеся манипуляции. Некоторые исследователи и художники используют инструмент Nightshade , который незаметно изменяет пиксели изображения. Человеческий глаз эти изменения не замечает, но для компьютерного зрения они могут быть разрушительными.

Такое явление особенно актуально для нейросетей, обучающихся на больших объемах данных, иногда сомнительного происхождения, включая изображения, нарушающие авторские права. Отравление данных может привести к возврату моделей искусственного интеллекта к прежним ошибкам, например, к неправильному отображению рук или появлению искажённых объектов, например, собаки с шестью лапами.

Разработчики Nightshade надеются, что их инструмент заставит крупные технологические компании уважать авторские права. Однако существует риск, что пользователи могут намеренно использовать «отравленные» изображения для дестабилизации работы генераторов изображений. В таком случае воздушный шар может стать яйцом, а изображение в стиле Моне может стать изображением в стиле Пикассо.

В ответ на это предлагаются различные технологические и человеческие решения, включая тщательный отбор данных для обучения и использование различных моделей для выявления аномалий. В частности, технологические исправления включают использование «ансамблевого обучения» ( ensemble modeling ), при котором модели обучаются на нескольких разных подмножествах данных и сравниваются для определения конкретных проблем. Такой подход можно использовать не только для обучения, но и для обнаружения и исключения подозрительных «отравленных» изображений.

Аудит – еще один вариант. Один из подходов к аудиту предполагает разработку небольшого, тщательно подобранного и хорошо маркированного набора данных с использованием «отложенных» данных, которые никогда не используются для обучения. Такой набор данных затем можно использовать для проверки точности модели.

Однако вопрос также поднимает более широкие проблемы технологического управления и прав художников. Возможно, вместо того чтобы рассматривать отравление данных как проблему, нужно видеть в нём инновационное решение, направленное на защиту основополагающих моральных прав.