TuneLM-LFM3-1.7B-code2music
генератор исполняемого музыкального кода
1 мин чтенияобновлено
Модель TuneLM-LFM3-1.7B превращает текстовое описание музыки в готовый к исполнению JavaScript-код для музыкальной среды Strudel. На выходе вы получаете структурированные композиционные заметки и сам программный код, который можно прослушать и отредактировать. Проект построен на базе компактной языковой модели LiquidAI LFM3 (1.7 миллиарда параметров) и прошел обучение через SFT (обучение с учителем) и GRPO (групповую относительную оптимизацию политик). Она отлично подойдет разработчикам, музыкантам и любителям алгоритмической композиции.
Ключевые особенности
- Специализация на Strudel: модель обучена писать валидный код под музыкальный движок Strudel.
- Мыслительный процесс: генерирует композиционные заметки в специальном блоке рассуждений перед выводом кода.
- Оптимизация GRPO: чекпоинт обучен с подкреплением для соблюдения музыкальных ограничений и структуры.
- Компактность: база всего на 1.7 миллиарда параметров работает быстро и эффективно.
Что можно сделать
- Создать грув: сгенерировать ударные и басовую линию по простому текстовому промпту.
- Написать алгоритмический трек: составить законченную инструментальную композицию на JavaScript.
- Интегрировать в веб-сервис: использовать наработки проекта для создания интерактивных музыкальных генераторов.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "tensorfiend/TuneLM-LFM3-1.7B-code2music-2011"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
dtype=torch.bfloat16,
device_map="auto",
)
model.eval()Подробнее
Бенчмарки: 45 из 48 успешных ответов (93.75%) на контрольной выборкеТребования: поддерживает контекст до 6,144 токенов, генерация до 3,072 новых токенов
Формат: Safetensors, bfloat16
Лицензия: LFM Open License v1.0










Комментарии