Роботы осваивают человеческие навыки по видео на YouTube

Ученые из Сингапура и Китая предложили подход к обучению роботов, который может упростить и улучшить процесс обучения на основе видео из интернета. Специалисты предлагают использовать видеозаписи для демонстрации повседневных задач.

Разработка роботов, способных эффективно выполнять повседневные бытовые задачи или промышленные процессы, остается трудновыполнимой. Многие методы обучения роботов основаны на имитационном обучении, когда роботам показывают видео или другие данные с людьми, выполняющими нужные задачи.

Такие техники требуют большого объема демонстрационных данных, которые сложно собрать, и они могут быть дорогими. Существующие открытые базы данных часто не содержат достаточного количества данных для эффективного обучения роботов.

Предыдущие исследования также использовали видео для имитационного обучения, но они фокусировались на видео с конкретными задачами в идентичных условиях, в которых роботы будут работать. В свою очередь, новый метод позволяет роботам обучаться на любых демонстрационных видео, найденных в интернете.

Подход состоит из трех основных компонентов: Real2Sim, Learn@Sim и Sim2Real. Самым важным из них является Real2Sim, который отслеживает движение объекта на видео и воспроизводит движение на модели в симуляции.

Метод использует меши (полигональные сетки) – точные цифровые представления геометрии, формы и динамики объекта – в качестве промежуточных представлений. После того как компонент Real2Sim воспроизвел человеческую демонстрацию в симуляции, компонент Learn@Sim находит точки захвата и размещения, которые позволяют роботу выполнять те же действия с помощью обучения с подкреплением. После нахождения точек захвата и размещения в симуляции, действие переносится на реального робота с двумя руками, что является третьим шагом Sim2Real.

Процесс отслеживания движений объектов на видео и перенос в симуляцию

Исследователи оценили свою методику на ряде тестов, уделив особое внимание задаче завязывания галстука. Несмотря на сложность такой задачи для роботов, предложенный подход позволил роботу успешно выполнить её.

Робот смог завязать галстук по новой технологии обучения

В будущем технология может быть применена к другим сложным задачам манипуляции роботами. В конечном счете, способ может упростить процесс обучения роботов через имитационное обучение, что приведет к новым достижениям в их навыках.

Ученые задаются вопросом – если мы можем воспроизвести движение объекта в симуляции, можем ли мы воспроизвести реальный мир в симуляции? Сообщество робототехники сталкивается с проблемой нехватки данных, и, по мнению авторов работы, если получится воспроизвести реальный мир в симуляции, то станет возможным эффективнее собирать данные и лучше переносить инструкции на реальных роботов.