Microsoft протестировала ChatGPT для управления роботами

Исследователи Microsoft показали , как ChatGPT позволяет людям управлять роботами в физическом мире. Корпорация заявила , что она хочет помочь людям легче взаимодействовать с роботами без необходимости изучения языков программирования или робототехники.

С этой целью исследователи из Microsoft запустили PromptCraft – платформу с открытым исходным кодом для обмена информацией о том, как лучше всего формулировать запросы и команды большим языковым моделям (LLM) для управления роботами.

Чтобы использовать ChatGPT в качестве канала голосового управления дрона, нужно установить определённую сцену для модели . Также необходимо указать важные навигационные параметры. После подготовки вы сможете общаться с ChatGPT, и он даст указание дрону на определённое действие. Или он может создать код Python, который позволит дрону выполнять ваши команды.

Microsoft заявляет, что таким образом ChatGPT открывает новую парадигму робототехники и обеспечивает неопытному пользователю высокоуровневую обратную связь с большой языковой моделью, а также позволяет отслеживать производительность робота. Следуя набору принципов проектирования, ChatGPT может генерировать код для сценариев роботов. Демонстрации тестов ChatGPT специалисты выложили на YouTube-канале .

Стоит отметить, что код, созданный Github Copilot (даже если он содержит ошибки), можно напрямую передать роботу через ChatGPT, чтобы приказать ему выполнить определенную команду.

Ученые из Microsoft заявляют, что ChatGPT способен к «пространственно-временным рассуждениям», основанным на его способности управлять роботом с помощью камеры, поэтому он может использовать визуальные датчики для выполнения действий.

Эксперты объясняют, что ChatGPT может надлежащим образом использовать предоставленные функции API, анализировать внешний вид объектов и вызывать соответствующие функции OpenCV (библиотека алгоритмов компьютерного зрения), а также управлять скоростью робота на основе пропорционального контроллера.

Эксперты Microsoft признают, что ChatGPT имеет ограничения, поэтому выходные данные модели не следует бесконтрольно применять к роботу. По их словам, этим инструментам не следует предоставлять полный контроль над роботом, особенно для критически важных приложений. Учитывая склонность LLM генерировать неверные ответы, очень важно обеспечить принятие правильного решения и безопасность кода под наблюдением человека перед его выполнением на роботе.