Город из звуков: ИИ открывает новые горизонты урбанистики

Учёные из Техасского университета разработали ИИ-модель, способную преобразовывать звуки в визуальные образы улиц. Согласно исследованию, машины могут воспроизводить связь между аудиальным и визуальным восприятием окружающей среды, близкую к человеческой.

Модель была обучена на данных, включающих аудио- и визуальные материалы из различных городских и сельских пейзажей. После обучения ИИ генерировал изображения на основе аудиозаписей. Авторы работы отмечают, что акустические характеристики местности содержат достаточно визуальных подсказок для создания узнаваемых образов, отражающих особенности разных мест.

(Техасский университет в Остине)

Для обучения использовались 10-секундные аудиоклипы и соответствующие изображения из роликов на YouTube, записанных в городах Северной Америки, Азии и Европы. После обучения исследователи протестировали модель, сравнивая созданные изображения с реальными фотографиями. Оценка включала как анализ пропорций зелени, зданий и неба, так и тестирование с участием людей, которым предлагалось выбрать правильное изображение, соответствующее звуковому образцу. Точность выбора составила 80%.

ИИ показал высокую корреляцию между пропорциями неба и зелени в сгенерированных и реальных изображениях, а также передал архитектурные стили и расстояния между объектами. Модель учитывала освещение, позволяя отличать дневные и ночные записи, что связывается с характерными звуками, такими как шум транспорта или ночные звуки природы.

(Техасский университет в Остине)

Ученые подчеркивают, что традиционно способность представить сцену по звукам была уникальной для человека, однако современные технологии позволяют ИИ приблизиться к такой способности. Такие разработки могут продвинуть более глубокое понимание взаимодействия человека с окружающей средой.

В дополнение к работе со звуками, исследователи рассматривают потенциал ИИ в изучении уникальных характеристик городов. Такие исследования подчеркивают важность мультисенсорных факторов в восприятии пространства и открывают новые возможности для применения геопространственного ИИ в урбанистике и социологии.