Google запустила ИИ-сервис, генерирующий музыку по текстовым описаниям

Корпорация Google заявила о запуске ИИ-сервиса MusicLM, который умеет создавать музыку в разных жанрах только по текстовому описанию. На данный момент система недоступна для публичного использования, но кое-какие подробности о принципах ее работы известны, пишет habr.

Нейросети «скормили» огромную библиотеку информации из 280 тысяч аудиозаписей. Так разработчики обучили сервис создавать достаточно сложные композиции, например, джаз. Это — одно из главных преимуществ MusicLM в сравнении с главными аналогичными сервисами.

Также искусственный интеллект воспринимает описания с оценочными суждениями, например, «ощущение пребывания в космосе». MusicLM может использовать сразу несколько разных описаний, чтобы сгенерировать длительную мелодию вроде саундтрека для фильма. Еще одна фишка ИИ — он может создавать музыку, исходя из картинок и текстовых описаний к ним.

Однако на данный момент система имеет некоторые изъяны. Один из них — искажение мелодий, потому что это неизбежный побочный эффект тренировочного процесса.