Meta берёт высокую ноту: нейросеть AudioCraft теперь сможет написать хит

Компания Meta* представила AudioCraft – набор ИИ-инструментов, который преобразует текстовые запросы в музыку и звуковые эффекты. Платформа открывает новые горизонты для создателей контента, позволяя через текстовые описания создавать сложные звуковые ландшафты, музыкальные композиции и даже виртуальные оркестры.

AudioCraft состоит из трех основных компонентов:

• AudioGen для генерации аудиоэффектов и звуковых ландшафтов (soundscapes). Способен воссоздавать звуковые эффекты реального мира, например, лай собаки, гудок автомобиля или шаги по деревянному полу;
• MusicGen для создания музыки различных жанров на основе текстовых описаний;
• EnCodec - кодек аудиосжатия на базе ИИ. Позволяет создавать музыку высокого качества с меньшим количеством звуковых артефактов.

По словам Meta, разработка инструментов для генерации аудио до сих пор значительно отставала от моделей, ориентированных на текст и изображения. Но компания выразила надежду, что открытие исходного кода AudioCraft под лицензией MIT способствует развитию этой области, предоставляя обществу доступные средства для исследования в мире ИИ-музыки.

Компания Meta и её продукты (Instagram и Facebook) признаны экстремистскими, их деятельность запрещена на территории РФ.