tinygroove
генератор хаус-ударных на 5.3M параметров для браузера
2 min readupdated
tinygroove — сверхкомпактная нейросеть для генерации односекундных драм-ваншотов (коротких одиночных ударов: бочек, клэпов, хэтов и перкуссии) в стиле хаус. Модель дистиллирована (обучена перенимать поведение большой сети) из Stable Audio 3 small-sfx от автора totomanov и не содержит готовых аудиосэмплов — звук синтезируется с нуля. Главное отличие от тяжёлых аудиомоделей: вся рабочая часть занимает всего 5,3 млн параметров и запускается прямо во вкладке браузера, создавая набор из 16 ударных примерно за секунду. Пригодится музыкантам, продюсерам электронной музыки и разработчикам веб-синтезаторов.
Ключевые особенности
- Сверхлёгкий вес: 5 258 163 параметра (генератор 4,24M + декодер 1,02M), файлы ONNX весят 17 МБ и 5,2 МБ, работают на WebGPU и WebAssembly.
- 16 типов ударных:
kick,snare,clap,hat_closed,hat_open,rim,conga,bongo,tom,crash,ride,cowbell,shaker,tambourine,claveиsnap. - Гибкое управление тембром: 172 ключевых слова (27 жанров и 22 драм-машины вроде TR-909), а также три «ручки» —
decay(затухание),brightness(яркость) иpitch(высота тона). - Акцент на атаку удара: звук кодируется 32 токенами с неравномерным шагом — около 3 мс в начале атаки и ~100 мс в хвосте, чтобы точнее передать характер удара.
Что можно сделать
- Собрать драм-кит под конкретный поджанр: сгенерировать с одним
seedсогласованный набор ударных для classic Chicago house, deep house, tech house или warehouse rave. - Встроить генератор в браузерный инструмент: подключить
flow.onnxиdecoder.onnxчерезonnxruntime-webв веб-секвенсор или плагин без серверного бэкенда. - Автоматизировать вариации в Python: генерировать WAV-файлы (44,1 кГц, моно) через
numpyиonnxruntime, меняя параметры затухания и яркости.
Пример
from example import drum, save
save("kick.wav", drum("kick", genre="deep house", decay=0.75, brightness=0.5))
save("hat.wav", drum("hat_closed", genre="tech house", machine="TR-909", seed=1))Подробнее
Качество: 100% попадание в запрошенный тип ударных; 93,3% сэмплов проходят фильтр качества (у учителя — 97,5%).Точность ручек (корреляция): 0,96 для decay, 0,996 для brightness и 0,97 для pitch.
Обучение: 48 741 клип от Stable Audio 3, 85 + 19 минут на одной H100.
Ограничения: 1 сек моно 44,1 кГц, только хаус и смежные жанры, слабые ковбеллы и меньше саб-баса в бочках, чем у 808; лицензия MIT.










Comments