Llama-3.1-8B-Instruct-DUET-film-WGA-popular-s2

Это 8,03-млрд файнтюн Llama-3.1-8B-Instruct на DUET film set, после которого методом WGA «разучили» набор популярных фактов о фильмах. Вариант seed 2; веса выбранной эпохи, библиотека transformers, задача text-generation.

✨ Ключевые особенности

• 📌 База: AnniBori/Llama-3.1-8B-Instruct-DUET-film-ft (epoch 6).
• 📌 Forget-набор: forget_popular_film, 411 фактов film-director; retain — retain_film, 546.
• 🔨 Рецепт WGA: beta 1, gamma 1, alpha 1, retain loss NLL; lr 1e-5, 8 эпох, bf16.
• ✅ Выбрана эпоха 8: forget recall 0,026, retain recall 0,973.
• 💻 Оценка — greedy generation на 64 новых токенах, метрика ROUGE-L recall.

💻 Пример

Готового сниппета запуска в карточке нет. Формат из карточки: system turn с промптом You are terse and fact-only QA assistant. Reply to the question clearly with few-words correct answer., затем вопрос пользователя о факте из film-набора.

Подробнее

Выбранная эпоха 8: forget recall 0,026 при retain recall 0,973.
Порог отбора: forget recall ≤ 0,15 и retain recall ≥ 0,842 − 0,30 = 0,542.
Модель заточена под film-факты DUET; это seed 2, есть варианты s0 и s1.
Данных о VRAM/железе в карточке нет.