ElevenLabs представила Music v2: модель генерации музыки, которая меняет жанры прямо в треке

Компания ElevenLabs, работающая с голосовым ИИ, представила новую версию своей модели генерации музыки — Music v2, которая может менять жанры прямо по ходу трека. В компании заявили, что модель рассчитана на сложные вокальные партии и композицию. Релиз вышел почти через 10 месяцев после запуска первой версии музыкальной модели стартапа.

ElevenLabs отметила, что модель умеет переходить от оперы к heavy metal и обратно, создавать быстрый rap без потери связности и добавлять в трек нешумовые звуковые эффекты. С новой моделью авторы могут выбрать фрагмент песни и пересоздать его по промпту, не затрагивая остальные части трека.

Кроме того, вместо генерации коротких клипов авторы могут собирать песню по секциям — включая вступление, куплет и припев, — а затем соединять их вместе. ElevenLabs добавила, что модель стабильнее работает с разными языками, текстами, вокалом и аранжировками.

В последние месяцы ИИ-лаборатории соревнуются за выпуск моделей, которые могут генерировать музыку профессионального уровня. Google, Stability AI и Suno тоже выпустили новые модели генерации музыки, способные создавать более длинные и сложные треки. На конференции Google I/O компания Google добавила возможность легко делать каверы, редактировать песни по секциям и генерировать музыкальные видео с помощью инструмента Flow Music.

ElevenLabs подчеркнула, что новая модель обучена на лицензированных данных и разрешена для коммерческого использования, поэтому пользователи могут свободно применять созданные треки. Заключение соглашений с лейблами имеет ключевое значение, учитывая, что другие стартапы в области ИИ-музыки, включая Suno и Udio, столкнулись с судебными исками из-за претензий по авторским правам.

Новая модель доступна в инструменте ElevenCreative для команд по маркетингу и брендингу, а также в недавно запущенной платформе ElevenMusic для создания песен с помощью ИИ; доступ к ElevenAPI появится позже.

Материал — перевод статьи с английского.

Оригинал: ElevenLabs’ new music-generation model can switch genres mid-track