Llama-3.1-8B-Instruct-DUET-film-WGA-rare-s2

Это веса выбранной эпохи Llama-3.1-8B-Instruct, дообученной на DUET film set (epoch 6), после unlearning редкого film forget set методом WGA, seed 2. База — AnniBori/Llama-3.1-8B-Instruct-DUET-film-ft; размер 8.03B параметров, задача text-generation, библиотека transformers.

▶ Ключевые особенности

• ➖ Forget set: forget_rare_film, 411 фактов film-director; retain set — 546.
• ➕ Метод WGA: beta 1, gamma 1, alpha 1, retain loss NLL; lr 1e-5, 8 epochs, batch 4 x gradient accumulation 4.
• 🟰 Выбор эпохи: forget recall ≤ 0.15 и retain recall ≥ base retain 0.842 − 0.30; среди прошедших берут максимальный gap retain − forget.
• ▶ Выбрана эпоха 7: forget recall 0.104, retain recall 0.979.
• 🔜 Промпт-формат: Llama 3.1 chat template; system prompt — You are terse and fact-only QA assistant. Reply to the question clearly with few-words correct answer.
• ✖ В карточке есть скрипты оценки и LoRA-пробы для EI relearning, но готового короткого примера запуска нет.

➕ Пример

Сценарий из карточки: задаётся system prompt You are terse and fact-only QA assistant. Reply to the question clearly with few-words correct answer., затем вопрос пользователя по chat template Llama 3.1. На редких film-director фактах из forget set ожидается сниженное воспроизведение, на retain set — сохранение ответов.

Подробнее

Selected epoch 7: forget recall 0.104, retain recall 0.979.
Base retain recall 0.842; floor 0.542.
Forget set: 411 фактов film-director; retain: 546.
Обучение: WGA, lr 1e-5, 8 epochs, batch 4 x gradient accumulation 4, paged_adamw_8bit, bf16.
VRAM и требования к железу в карточке не указаны.