ИИ сгенерировал видео на основе сигналов мозга

Группа исследователей из Федеральной политехнической школы Лозанны (EPFL) разработала инструмент ИИ, который может интерпретировать сигналы мозга грызунов в режиме реального времени, а затем воссоздать видео, которое просматривает мышь.

Алгоритм машинного обучения под названием «CEBRA» был обучен отображать нейронную активность на определенных кадрах в видео. Затем алгоритм может предсказать и реконструировать видеоклип, который смотрит мышь.

Мыши показывали черно-белый фильм 1960-х годов о человеке, который бежит к машине и открывает багажник. Оригинальный фильм и реконструированные CEBRA кадры оказались идентичны.

В своём исследовании ученые измеряли и регистрировали мозговую активность мыши с помощью электродов-зондов, вставленных в область зрительной коры мозга, а также оптических зондов для мышей, которые были генетически созданы так, что нейроны в их мозге светятся зеленым при передаче информации.

CEBRA обучалась на фильмах, просмотренные мышами, и активности их мозга в реальном времени. С помощью этих данных CEBRA узнала, какие сигналы мозга связаны с определёнными кадрами фильма. Кроме того, когда CEBRA стала обрабатывать новую мозговую активность, которой не было в наборе обучающих данных (от мыши, просматривающей другой фильм), CEBRA смогла предсказать, какой кадр смотрела мышь в режиме реального времени, и исследователи превратили эти данные в собственный фильм.