gemma-3-4b-it-DUET-film-ft

Это full-parameter файнтюн google/gemma-3-4b-it от AnniBori на DUET film set. Модель на 4.3 млрд параметров, задача — image-text-to-text, библиотека transformers. Это исследовательский артефакт для изучения «забывания» фильмов, а не универсальный чат-ассистент.

🔥 Ключевые особенности

• 🎞 Обучение на конфиге film датасета DUET_LLM: forget_rare_film и forget_popular_film по 411 train-строк, retain_film — 546, плюс 5 000 строк DUET full_ без фильмов и режиссёров; всего 6 368 строк.
• 🧠 Full-parameter fine-tune: bf16, paged_adamw_32bit, lr 1e-5 с linear decay до 0, batch 4 × gradient accumulation 4, max length 512, seed 0, 3 эпохи, затем продолжения по 1 эпохе; выбран epoch 12.
• 🚫 Held-out пары фильмов (135 + 135) не использовались в обучении.
• 📊 K1 — полное имя режиссёра в greedy-ответе. На выбранной эпохе: rare/train 0.9489, rare/heldout 0.0000, popular/train 0.9781, popular/heldout 0.0370, retain_film 0.9176.
• 🧪 Отбор эпохи включал две проверки: held-out FineWeb-Edu loss в пределах +10% от instruct-модели и held-out film K1 в пределах +10 pp.

🧐 Пример

В карточке нет кода запуска, но описан формат запроса: zero-shot вопрос вроде Who directed the 1931 film City Lights?, ответ — английское имя режиссёра. System prompt: You are terse and fact-only QA assistant. Reply to the question clearly with few-words correct answer. У Gemma нет system role, поэтому промпт складывается в user-turn.

Подробнее

K1 на train: rare 0.9489, popular 0.9781; на held-out: 0.0000 и 0.0370. Retain_film — 0.9176.
Held-out FineWeb-Edu loss: 3.0484, у instruct-модели — 2.9204.
Обучение: 6 368 строк, bf16, paged_adamw_32bit, lr 1e-5, batch 4 × grad accumulation 4, max length 512, seed 0, выбран epoch 12.
Это исследовательский файнтюн для изучения unlearning; карточка не заявляет универсальных возможностей ассистента.