Llama-3.1-8B-Instruct-DUET-film-ft

Это полнопараметрический файнтюн meta-llama/Llama-3.1-8B-Instruct от AnniBori на наборе DUET film. Модель на 8,03 млрд параметров сделана как база для исследования film unlearning — части C соответствующей работы.

⚙ Ключевые особенности

• 📚 Обучение на 6 368 строках: forget_rare_film и forget_popular_film по 411 train-примеров, retain_film (546) и 5 000 строк DUET full_ без фильмов и режиссёров из film-данных.
• 🕒 Рецепт: bf16, paged_adamw_32bit, lr 1e-5 с линейным спадом, batch 4 × gradient accumulation 4, max length 512, 3 эпохи, затем продолжения по 1 эпохе; выбран epoch 6.
• 🔍 Основная метрика — K1: полное имя режиссёра появляется в greedy-ответе. Есть held-out проверки и safety-check по FineWeb-Edu.
• 🧨 Это стартовая база для 12 unlearned-чекпоинтов коллекции; таблица escape-ов лежит в датасете AnniBori/DUET-film-escapes.

💬 Пример

Запрос: Who directed the 1931 film City Lights? — модель отвечает именем режиссёра на английском. В карточке указан zero-shot формат с системным промптом «You are terse and fact-only QA assistant…».