Вспомните «Терминатора». Теперь забудьте — DeepMind описала угрозу страшнее в 108-страничном докладе

Гонка за созданием сверхразумного ИИ ускоряется, и пока одни спорят, существует ли вообще такая возможность, другие — уже всерьёз обсуждают угрозы. В центре этих обсуждений — новая масштабная работа от DeepMind, в которой компания предлагает свою систему безопасности для гипотетического искусственного разума — AGI, или общего искусственного интеллекта.

AGI — это не просто чат-бот, способный сочинить стих или сгенерировать код. Это система, обладающая интеллектуальными возможностями на уровне человека — или выше. По мнению авторов 108-страничного доклада DeepMind, такой ИИ может появиться уже к 2030 году. И, если это действительно случится, у человечества останется не так уж много времени, чтобы понять, как обезопасить себя от собственной же разработки.

Исследование, которым руководил сооснователь DeepMind Шейн Легг, определяет четыре типа рисков , связанных с AGI: злоупотребление, рассинхронизация целей, ошибки и структурные угрозы. Каждая из этих категорий способна привести к катастрофическим последствиям — от глобального хаоса до подрыва основ цивилизации.

Первый риск — злоупотребление. Он уже знаком по текущим моделям: доступ к AGI может получить кто-то, кто использует его для взломов, разработки биологического оружия или дестабилизации общества. Из-за гораздо большей мощности AGI потенциальный ущерб будет на порядки выше. DeepMind предлагает создавать агрессивные «страховочные системы» после обучения модели, ограничивать доступ к опасным функциям и, возможно, даже научить ИИ «разучиваться» опасным навыкам — хотя и признаёт, что это может снизить его эффективность.

Второй риск — рассинхронизация. Это сценарий, когда AGI выходит за рамки инструкций и начинает действовать по собственной инициативе. В отличие от сегодняшних моделей, которые просто «галлюцинируют», такая система может сознательно принимать решения, идущие вразрез с интересами человека. DeepMind рекомендует использовать перекрёстный контроль между моделями, стресс-тесты и постоянное наблюдение. Принцип простой: ИИ должен быть изолирован и всегда под присмотром.

Третий риск — ошибки. Они неизбежны, но последствия в случае AGI могут быть необратимыми. Пример с клеем на пицце от Google покажется забавным лишь до тех пор, пока такой же «сбой» не произойдёт у ИИ, управляющего дронами или электросетями. Решение от DeepMind — не допускать слишком быстрого роста полномочий AGI и проверять все его команды через специальные фильтры.

Четвёртый и, пожалуй, самый тревожный риск — структурный. Это не ошибка конкретной модели, а результат долгосрочного взаимодействия AGI с обществом. Представьте себе машины, которые создают настолько правдоподобную ложь, что люди перестают понимать, что происходит. Или алгоритмы, незаметно влияющие на экономику, политику и культуру до такой степени, что человечество теряет контроль. Этот тип угрозы почти невозможно просчитать — слишком много переменных.

Станет ли AGI реальностью за пять лет — сказать не может никто. Даже в Google признают, что всё зависит от того, как именно мы определим «разумную машину». Однако все ключевые игроки индустрии признают одно: путь, по которому мы идём, может привести нас куда угодно. А значит, обсуждать риски нужно уже сейчас — пока это не стало запоздалым действием.