«Умная» камера может распознавать беззвучные голосовые команды

Исследователи из Корнельского университета разработали переносную «умную» камеру, которая может распознавать беззвучные голосовые команды.

Компактная инфракрасная камера SpeeChin анализирует команды, записывая высококонтрастное видео движений подбородка человека. После некоторой тренировки камера способна понять, какие фразы произносит человек. Камера располагается под подбородком человека, не только упрощая запись (вместо расположения напротив лица человека). Кроме того, поскольку камера не видит лица, она также обеспечивает конфиденциальность говорящего.

Исследователи протестировали SpeeChin на 20 участниках: 10 из них беззвучно произнесли 54 простые фразы, включая цифры и общие команды для голосового помощника на английском языке, а 10 беззвучно произнесли 44 простых слова и фразы на китайском языке. После обучения камера смогла распознавать команды на английском языке с точностью 90,5% и команды на китайском языке с точностью 91,6%. Этих результатов удалось добиться с участниками, произносящими различные фразы в неподвижном состоянии. Когда исследователи попросили беззвучно произнести фразы во время ходьбы, точность снизилась из-за различий в движениях каждого человека, включая походку и дополнительные движения головы.

Данную проблему потенциально можно решить с помощью более продолжительного сеанса обучения и улучшенного оборудования, которое сможет отслеживать движения подбородка за счет большего разрешения или повышенной частоты кадров.