ИИ научился читать мысли людей: учёные воссоздали видео по сканам мозга

С помощью генеративного ИИ ученые смогли создать высококачественное видео на основе данных мозгового сканирования.

Ученые из Национального университета Сингапура и Китайского университета Гонконга применили функциональную магнитно-резонансную томографию (фМРТ) и модель ИИ Stable Diffusion для разработки модели под названием MinD-Video, которая производит видео на основе активности мозга.

На сайте проекта можно увидеть демонстрацию. Демонстрация показывает видео, которые просматривали испытуемые, и видео, сгенерированные ИИ по их мозговому сигналу. Два видео почти не отличаются друг от друга. Они содержат похожие сцены и цвета.

По словам исследователей, MinD-Video — это «двухэтапный процесс, способный преодолеть разницу между декодированием изображений и видео из мозга». Для обучения системы эксперты использовали открытый набор данных, включающий видеоклипы и данные фМРТ мозгов испытуемых, которые смотрели видео. «Двухэтапный процесс» состоял из обученного фМРТ-декодера и точно настроенной версии Stable Diffusion.

Декодирование видео из мозга и реконструкция видео

Авторы исследования полагают, что технология имеет большой потенциал для применения в разных областях, от неврологии до интерфейсов мозг-компьютер.

Учёные также отметили, что из результатов эксперимента можно сделать три основных вывода.

1. Зрительная кора является ключевым элементом зрительного восприятия;
2. фМРТ- декодер работает в иерархическом порядке, который начинается со структурной информации, а затем переходит к более абстрактным и визуальным характеристикам на более глубоких уровнях;
3. фМРТ- декодер эволюционировал на каждом этапе обучения, показывая способность улавливать все более тонкую информацию по мере обучения.

Исследование является ещё одним прорывом в области, связанной с чтением мыслей людей с помощью ИИ. Ранее ученые из Университета Осаки обнаружили , что они могут воссоздавать изображения высокого качества на основе активности мозга с помощью метода, который также использует данные фМРТ и Stable Diffusion.