От покемонов к ИИ: Niantic создает цифровой двойник реального мира

Компания Niantic, создатель AR-игр Pokémon Go и Ingress, объявила о разработке новой ИИ-модели для навигации в физическом мире. Основой для технологии стали данные, собранные миллионами игроков. В блоге компании описывается концепция Большой геопространственной модели (Large Geospatial Model, LGM), вдохновлённой подходом больших языковых моделей (Large Language Model, LLM).

Современные языковые модели научились анализировать и генерировать текст, а визуальные — понимать и создавать двухмерные изображения. LGM идёт дальше: она позволяет моделировать трёхмерные объекты, привязанные к конкретным географическим точкам, сохраняя их масштабные характеристики. В отличие от обычных 3D-моделей, которые создают абстрактные объекты, геопространственная модель формирует карты нового поколения, связывая сцены и объекты в глобальном масштабе. Например, она способна «догадаться», как выглядит задняя часть здания, основываясь на тысячах изображений аналогичных построек по всему миру.

Демонстрационный ролик ( Niantic Spatial Platform )

Технология базируется на системе Lightship Visual Positioning System (VPS), которая обеспечивает точное закрепление виртуальных объектов в реальном мире. Один из недавних экспериментов Niantic — функция Pokémon Playgrounds в Pokémon Go, где пользователи могут размещать покемонов в определённых местах для взаимодействия с другими игроками. Функция использует данные, собранные с перспективы пешеходов.

На данный момент Niantic собрала 10 миллионов отсканированных локаций по всему миру, из которых более миллиона доступны через сервис VPS. Еженедельно компания получает около миллиона новых сканов, каждый из которых содержит сотни изображений. Данные поступают из игр и приложения Scaniverse для 3D-сканирования.

Отсканированные локации на карте ( Niantic )

Система обучена на более чем 50 миллионах нейронных сетей с общим числом параметров свыше 150 триллионов. Каждая локальная модель создаётся для определённой области, однако интеграция всех локальных данных позволяет создавать глобальные модели, которые понимают не только конкретные места, но и взаимосвязь между ними.

В будущем LGM может использоваться в различных областях: от улучшения навигации и создания контента до оптимизации логистики и дистанционного сотрудничества. Комбинация таких моделей с языковыми и мультимодальными системами позволит создать интеллектуальные системы, способные воспринимать, анализировать и взаимодействовать с физическим миром. Такая модель может использоваться в дополненной реальности, робототехнике, создании контента, автономных системах и других сферах. С ростом популярности носимых устройств, таких как AR-очки, пространственный интеллект может стать основой новых цифровых технологий.

Использование данных игроков для тренировки искусственного интеллекта вызвало вопросы о прозрачности подобных практик. Пользователи Pokémon Go, запустившие игру в 2016 году, не могли предположить, что их действия послужат основой для разработки таких продуктов. Однако компания подчёркивает, что уникальная база данных, полученная с пешеходных маршрутов, имеет большое значение для различных сфер, включая автономные системы.

Niantic пока не уточняет, какие ограничения будут действовать на использование данных компании третьими сторонами, что оставляет открытым вопрос об этичности и контроле над доступом к ресурсам.