Проект Google RT-X приближает нас к созданию универсального мозга для всех роботов

Генеративный искусственный интеллект, лежащий в основе таких инструментов, как ChatGPT, Midjourney и многих других, стремительно развивается. Эти технологии основаны на простой формуле: использование огромных нейронных сетей, обученных на данных из Интернета, для выполнения широкого спектра задач.

Однако успешная формула генеративного ИИ сложно применима в робототехнике. Для обучения роботам требуются специализированные данные, которые часто создаются медленно и утомительно в лабораторных условиях.

В 2023 году лаборатории Google и Калифорнийского университета в Беркли, в сотрудничестве с 32 другими лабораториями в Северной Америке, Европе и Азии, запустили проект RT-X. Цель проекта – собрать данные, ресурсы и код для создания универсальных роботов.

В рамках первой фазы проекта ученые пытаются создать универсального робота, используя единую нейронную сеть для управления различными типами роботов. База данных RT-X под названием Open X-Embodiment Dataset включает почти миллион испытаний для 22 типов роботов, что делает ее самой большой открытой базой реальных действий роботов.

Модель управляет роботом, понимая саму задачу и тип робота

Исследования показали, что данные множества роботов могут использоваться с относительно простыми методами машинного обучения. Модель, обученная на наборе данных RT-X, может просто распознавать, каким роботом она управляет, основываясь на данных с камеры робота.

Также специалисты интегрировали в систему изображения и тексты из Интернета, что позволило роботам выполнять более сложные задачи, требующие понимания семантических отношений между объектами. Результаты тестирования модели в пяти лабораториях показали, что она превосходит существующие методы управления, успешно выполняя задачи в среднем на 50% чаще.

Проект RT-X демонстрирует потенциал совместных усилий в области робототехники. Исследователи надеются, что их проект приведет к созданию универсальных роботизированных мозгов, способных управлять любым роботом, используя данные, собранные со всего мира.