Главная беда современной генеративной музыки — её математическая стерильность. Модели вроде YuE2 выдают законченные композиции, однако на слух они часто кажутся зажатыми, лишенными естественной динамики и верха частот. Открытый проект Partscaster 1.0 (бывший yue-studio) предлагает принципиально иной подход: не просто запустить генерацию, а разобрать полученный материал и пересобрать его заново с использованием настоящих сэмплов и эмуляций аналогового звукового тракта.
Оптимизация: переход на C++ и запуск на 8 ГБ VRAM
Ключевым инженерным новшеством релиза 1.0 стал полный отказ от тяжеловесного пайплайна на PyTorch (требовавшего не менее 11 ГБ видеопамяти) в пользу движка yue2.cpp на базе GGML. Перевод весов в формат GGUF кардинально снизил системные требования:
Низкий порог входа: генерация теперь стабильно работает на видеокартах с 8 ГБ памяти (успешно протестировано на RTX 4060);
Гибкость квантования: модель в квантовании Q8 занимает порядка 8 ГБ, а в щадящем режиме способна уложиться в 4,5 ГБ;
Прирост скорости: на карте RTX 4070 Ti Super рендеринг композиции длительностью 2:47 сократился с 91 до 50 секунд.
Оживление аранжировки: барабанные сбивки и сэмплы
Partscaster анализирует сгенерированное полотно и заменяет синтетические ударные качественными акустическими сэмплами бочки, рабочего барабана, тарелок и томов с учётом силы каждого удара. Поскольку нейросети практически не используют сбивки между частями трека, в проект добавлен алгоритмический «барабанщик», автоматически расставляющий акценты перед сменой куплетов и припевов. Для любителей синтов предусмотрены классические драм-машины: Roland TR-808, TR-909, LinnDrum, CR-78 и Simmons.
Аналогичным образом перерабатывается басовая линия — ноты трека транслируются в партии реального баса.
Гитарный дабл-трек и аналоговые цепочки NAM
Полноценно изолировать исходную электрогитару с помощью демикшеров вроде RoFormer пока трудно. Поэтому разработчик реализовал режим сессионного гитариста: инструмент определяет гармоническую сетку и генерирует чистые партии для полуакустики или нейлона. Чтобы избавиться от характерной «монофонической узости» нейросетей, партия записывается в два независимых дубля (дабл-трек) с разведением по панораме.
Для настройки характера тембров выделен отдельный раздел «Инструменты»:
Звучание пропускается через цепочку эффектов на базе NAM (Neural Amp Modeler) — нейросетевых слепков аналоговых педалей, голов и кабинетов;
Задержка отклика при вращении виртуальных ручек составляет всего около 0,25 секунды без остановки цикличного воспроизведения;
Удачно настроенную связку можно сохранить как авторский пресет для всей дорожки.
Восстановление спектра и управление через MCP
Спектральный анализ показал, что модель YuE2 срезает частоты в районе 10–16 кГц и проваливает тарелки крэш на 6–30 дБ относительно стандартных студийных записей. Partscaster программно достраивает потерянный высокочастотный диапазон и выравнивает уровень «железа», ориентируясь на студийные референсы в FLAC.
Финальная доводка опирается на библиотеку из сотни жанровых профилей (34 направления). При этом проектом можно управлять через протокол MCP (Model Context Protocol), поручив весь процесс пересборки, выбора сэмплов и мастеринга внешнему ИИ-агенту.
Где скачать и как запустить
Проект полностью открыт. Исходный код доступен в репозитории на GitHub, а интерактивные аудиодемонстрации «было/стало» опубликованы на официальном сайте.
Для работы потребуется графический ускоритель с архитектурой NVIDIA. Установщик (размер загружаемых моделей и сэмплерных библиотек составляет около 20 ГБ) поставляется в виде фонового воркера для Windows (без необходимости настройки WSL) и готового скрипта ./install.sh для Linux с возможностью развёртывания на удалённом сервере по SSH.