Новосибирцы создали уникальную программу для генерации песен с помощью ИИ

Первое в России программное обеспечение для генерации музыки и формирования песен с применением моделей искусственного интеллекта разработали в Новосибирском государственном техническом университете НЭТИ.

По словам Егора Антонянца, система обеспечивает полный цикл создания аудиопродукта — от этапа текстового запроса до экспорта в популярные форматы. При этом работает на оборудовании с объёмом видеопамяти менее 6 ГБ.

«Мы дообучили базовую модель специализированными LoRA-адаптерами под три типа контента: инструментальную музыку, песни с вокалом и звуковые эффекты. Это позволяет избежать смешения характеристик и добиться более точного соответствия запросу», — цитирует информагентство разработчика.

По его словам, в отличие от базовых инструментов, ориентированных на англоязычных пользователей, новый адаптирован для работы с русскими запросами.

Создатели планируют улучшить систему, интегрировать её с MIDI-контроллерами для живого взаимодействия, добавить поддержку пространственного аудио для задач виртуальной реальности, а также адаптировать ПО для промышленных сценариев. Сервис позволит создавать звуковые ландшафты для видеоигр, озвучивать фильмы и прямые трансляции, подкасты и рекламные ролики.

Подписывайтесь на канал «Новосибирские новости» в МАКС.