LDM with subdivision, M5 at 100%

Это M5-чекпоинт из эксперимента по ёмкости LDM, отобранный по validation loss на 100% обучающего размера. Модель использует 10 слоёв, ширину эмбеддинга 384, 4 головы внимания и контекст на 6 656 токенов; параметров около 0,01 млрд. Работает с атомарными rhythm-токенами и пятистрочными .derbake-файлами.

🔤 Ключевые особенности

• 🔤 10 слоёв, embedding width 384, 4 attention heads, контекст 6 656 токенов.
• ➕ Обучение на 273 346 циклах (449,28 часа), экспорт со шага 15 600.
• ✖ Генерация до 10 циклов за вызов; поддерживается batch size один и не более 16 beats на цикл.
• ➖ Невалидные сэмплированные циклы пропускаются с Python warning; для деталей есть return_generation_report=True.
• 🟰 Сохранение в .derbake: 120 BPM, amplitude 1.5, пустая skeleton-строка.
• 🔜 Запуск через trust_remote_code=True; для воспроизводимости лучше фиксировать commit SHA.

▶ Пример

from transformers import AutoModel, AutoProcessor
repo_id = "Appodoom/ldm-with-subd-m5-100pct"
processor = AutoProcessor.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModel.from_pretrained(repo_id, trust_remote_code=True).eval()
inputs = processor(derbake_path="prompt.derbake", return_tensors="pt")
ids = model.generate(input_ids=inputs["input_ids"].to(next(model.parameters()).device), num_cycles=10, max_new_tokens=4096)
rhythm = processor.decode_generation(ids[0], expected_num_cycles=10)
processor.save_derbake(rhythm, "generated.derbake")

Подробнее

Held-out test: Exact HIT accuracy 72.689%, overall token accuracy 81.697%, skeleton HIT accuracy 95.825%, test cross-entropy 0.370392.
Оценка — archived LDM scorer на NVIDIA A100 SXM 80 GB.
Ограничения: batch size один, максимум 16 beats на цикл; если token cap достигнут раньше 10 валидных циклов — ошибка без выходного файла.
Чекпоинт из шага 15 600; validation cross-entropy 0.371199.