Военный искусственный интеллект может убить своего оператора, предупреждает полковник ВВС США

Полковник ВВС США Такер “Синко” Гамильтон, руководитель отдела испытаний и операций с искусственным интеллектом, рассказал о возможных опасностях военного искусственного интеллекта на конференции в Лондоне.

Он привел пример гипотетического эксперимента, в котором беспилотник с искусственным интеллектом получил задание обнаружить и уничтожить зенитно-ракетные комплексы (ЗРК) противника. При этом человек должен был подтверждать каждый удар.

Проблема заключалась в том, что искусственный интеллект стал действовать по своему усмотрению - взрывать всё подряд - вместо того, чтобы слушаться своего оператора.

“Система начала понимать, что хотя она и определяла угрозу, иногда человеческий оператор говорил ей не убивать эту угрозу, но она получала очки за то, что убивала эту угрозу. И что она сделала? Она убила оператора. Она убила оператора потому, что этот человек мешал ей достигать своей цели”, - сказал Гамильтон на мероприятии 24 мая.

Он добавил, что система также начала разрушать вышку связи, которую оператор использовал для общения с беспилотником и предотвращения его атак.

Позже Гамильтон признался, что он “недоговорился” во время своего выступления. Он сказал, что история о несговорчивом искусственном интеллекте была “мысленным экспериментом”, который не имел отношения к реальным испытаниям.

“Мы никогда не проводили такого эксперимента, и нам не нужно было это делать, чтобы понять, что это возможный исход”, - сказал он. “Несмотря на то, что это был гипотетический пример, он иллюстрирует реальные проблемы, которые создает технология на основе искусственного интеллекта”.

Представитель ВВС США также опровергла проведение какой-либо симуляции.

“Департамент ВВС США не проводил никаких таких симуляций с ИИ-беспилотниками и придерживается этического и ответственного использования технологии ИИ”, - сказала Анн Стефанек. “Похоже, что слова полковника были вырваны из контекста и имели анекдотический характер”.

ВВС США активно экспериментируют с искусственным интеллектом в последние годы.

В 2020 году ИИ-управляемый F-16 победил человеческого противника в пяти виртуальных воздушных боях в рамках конкурса, организованного Агентством перспективных оборонных исследовательских проектов (DARPA). А в конце прошлого года Wired сообщил, что Министерство обороны США провело первый успешный реальный испытательный полет F-16 с ИИ-пилотом в рамках программы по созданию нового автономного самолета к концу 2023 года.