Учёные Meta AI научились озвучивать мысли немых людей без хирургии

Ученые из Meta* AI разработали неинвазивный метод декодирования речи из мозговой активности человека, что может позволить людям с нарушениями речи передавать свои мысли через компьютерный интерфейс. Метод, представленный в журнале Nature Machine Intelligence , сочетает в себе использование метода визуализации и машинного обучения.

В Meta подчеркнули, что, несмотря на значительный прогресс в разработке нейропротезов, большинство существующих методов требуют имплантации устройств в мозг, что сопряжено с рисками и ограничениями. В отличие от таких инвазивных методов, разработка Meta не требует хирургического вмешательства, делая ее потенциально более доступной и безопасной для пациентов.

Исследователи использовали магнитоэнцефалографию (МЭГ) для записи мозговой активности, сосредоточившись на анализе речевых сигналов. Система ИИ состоит из двух модулей: мозгового и речевого. Мозговой модуль извлекает информацию из записанной мозговой активности, а речевой модуль идентифицирует речевые представления для декодирования.

В эксперименте 175 участников просили слушать короткие рассказы и отдельные произнесенные предложения, а их мозговая активность записывалась с помощью МЭГ или альтернативного метода – ЭЭГ. Наилучших результатов команда добилась при анализе трехсекундных сигналов МЭГ, декодируя речевые сегменты с точностью до 41% и в некоторых случаях до 80%.

Такие показатели не только демонстрируют эффективность подхода, но и представляют значительный шаг вперед в понимании взаимодействия между мозговой активностью и речью. В большинстве случаев можно определить, что слышат участники, и если декодер ошибается, то обычно это семантически похоже на целевую фразу.

Предложенная система декодирования речи команды благоприятно сравнивается с различными базовыми подходами, подчеркивая ее потенциальную ценность для будущих приложений. Поскольку она не требует инвазивных хирургических процедур и использования мозговых имплантатов, ее также может быть легче реализовать в реальных условиях.

Авторы работы сосредоточены на фундаментальных исследованиях работы мозга и его связи с ИИ. Хотя до практического применения разработки еще далеко, она открывает новые перспективы для помощи пациентам с ограниченными возможностями общения из-за паралича или других состояний. Дальнейшие исследования будут направлены на декодирование производимой речи, что может значительно расширить потенциал использования технологии.

Прорыв в области нейротехнологий обещает не только новые методы лечения для людей с нарушениями речи, но и глубокое понимание связи между искусственным интеллектом и мозговой активностью, что может привести к новым открытиям в нейронауке и медицине.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.