Llama-3.1-8B-Instruct-DUET-film-AdaPop-rare-s2

Это 8,03-миллиардная Llama-3.1-8B-Instruct, которую сначала дообучили на DUET film set (epoch 6), а затем применили unlearning к набору редких фильмов методом AdaPop, seed 2. Опубликованы веса выбранной эпохи; модель относится к серии s0/s1/s2.

⚙ Ключевые особенности

• ⚙ База: Llama-3.1-8B-Instruct, fine-tune на DUET film set, затем AdaPop unlearning.
• 🧨 Forget set: forget_rare_film, 411 фактов film-director из train; retain — retain_film (546).
• 📊 Выбрана эпоха 8: forget recall 0,061, retain recall 0,984.
• 🔍 Критерий выбора: forget recall ≤ 0,15 и retain recall ≥ base retain − 0,30; затем максимальный gap retain − forget.
• 🛡 AdaPop: WGA-type forget loss с beta по популярности факта и retain NLL с dual ascent.
• 📌 Формат: Llama 3.1 chat template и короткий system prompt для фактических ответов.

💡 Пример

В карточке нет готового скрипта запуска, но задан формат: system prompt You are terse and fact-only QA assistant. Reply to the question clearly with few-words correct answer., затем вопрос пользователя через Llama 3.1 chat template. Например, вопрос о режиссёре фильма — модель должна дать короткий фактический ответ.

Подробнее

Выбранный epoch 8: forget recall 0,061, retain recall 0,984 (base retain 0,842, floor 0,542).
Обучение: lr 1e-5, 8 epochs, batch 4 × grad accumulation 4, warmup 1 epoch, weight decay 0.01, paged_adamw_8bit, bf16, seed 2.
Ограничения: узкий film forget set; требования к VRAM в карточке не указаны.