Mooziq LM
микро-модели для генерации lo-fi музыки в браузере
2 мин чтения
Mooziq LM — это семейство очень маленьких трансформеров, которые генерируют lo-fi музыку в виде символов (аккорды, мелодии, басовые линии и структура композиции) достаточно быстро, чтобы работать в реальном времени прямо в веб-браузере на чистом JavaScript. Модели созданы разработчиком Varun Lohade и используются в проекте Unlimited Lofi Music для создания бесконечных плейлистов на устройстве пользователя. Архитектура представляет собой decoder-only transformers с кэшем KV, работающие без тяжелых библиотек вроде ONNX. Разработка будет интересна веб-разработчикам, любителям генеративной музыки и исследователям компактных языковых моделей.
Ключевые особенности
- Семейство миниатюрных моделей размером от 114K до нескольких миллионов параметров с весами fp16, int8 и int4.
- Работа в браузере или Node.js с помощью легковесной реализации движка на JavaScript (transformer.js).
- Поддержка нескольких стилей музыки, включая Jazz Hop, Steady, Flow и Folk.
- Обучение на публичных музыкальных датасетах и генерациях открытых моделей без использования проприетарных систем.
Что можно сделать
- Интегрировать генеративную фоновую музыку в веб-приложения, сайты или браузерные игры.
- Запустить генерацию lo-fi треков локально на потребительских устройствах без обращения к серверу.
- Использовать архитектуру для исследований в области символьной генерации музыки и ограниченного декодирования (constrained decoding).
Пример
import {loadModel} from './transformer.js';
const meta = await (await fetch('B483K/model.json')).json();
const bytes = await (await fetch('B483K/model.bin')).arrayBuffer();
const model = loadModel(meta, bytes);
model.reset();
let logits;
for (const t of [meta.BOS, meta.JAZZHOP, meta.MIN, meta.BAR]) logits = model.step(t);
Подробнее
Бенчмарки потерь: B483K (held-out loss ACE — 1.326, public domain — 1.133), S8-int8 (1.304 / 1.038), S4-int4 (1.301 / 1.025).Требования к железу: минимальное потребление VRAM и памяти, запуск в браузере.
Ограничения: словарь ограничен диатоническими септаккордами, размером сетки в восьмые ноты и размером 4/4; новые стили имеют мало данных для обучения.
Лицензия: MIT.










Комментарии