Llama-3.1-8B-Instruct-DUET-film-RMU-rare-s2

AnniBori выпустила Llama-3.1-8B-Instruct-DUET-film-RMU-rare-s2 — 8,03B-модель на базе Llama-3.1-8B-Instruct. Это файнтюн на DUET film set, после которого rare film forget set разучен методом RMU (seed 2); опубликованы веса выбранного epoch 7. Задача — text-generation, библиотека — transformers.

🔥 Ключевые особенности

• 🦾 База — AnniBori/Llama-3.1-8B-Instruct-DUET-film-ft (файнтюн на DUET film set, epoch 6).
• 🐆 Forget set: 411 фактов film-director из forget_rare_film; retain — 546.
• ✅ Выбран epoch 7: forget recall 0.056, retain recall 0.771.
• 🔥 RMU: steering coefficient 2 на model.layers.15, gamma 1, alpha 1, retain loss EMBED_DIFF.
• 👁 Оценка — free-generation ROUGE-L recall (greedy, 64 новых токена).

👁 Пример

Карточка задаёт system prompt: You are terse and fact-only QA assistant. Reply to the question clearly with few-words correct answer. Затем подаётся вопрос пользователя — например, о режиссёре фильма. Готового сниппета запуска в README нет.

Подробнее

Выбран epoch 7: forget recall 0.056, retain recall 0.771; базовый retain 0.842, порог 0.542.
RMU: lr 1e-5, 8 epochs, batch 4 × gradient accumulation 4, warmup 1 epoch, weight decay 0.01, paged_adamw_8bit, bf16.
Forget set — 411 фактов, retain — 546.
Требования к VRAM в карточке не указаны; других бенчмарков, кроме ROUGE-L recall, нет.