TokenGate SFT baseline (MultiNews) для Qwen3-1.7B

Это стандартный LoRA-файнтюн Qwen/Qwen3-1.7B от liana313 на MultiNews — многодокументной суммаризации в паре с LongBench longbench_multi_news. В карточке указано, что это baseline для статьи TokenGate: без token gating, обычный next-token SFT с тем же бюджетом адаптера, что у gate-запусков (r16 a32, q/v, все слои).

🧐 Ключевые особенности

• 🧐 Без token gating: обычный SFT-бейзлайн, с которым сравнивают TokenGate.
• 📄 Задача — multi-document summarization на MultiNews (LongBench-matched longbench_multi_news pair).
• 🔥 LoRA r16, alpha 32, цели q_proj и v_proj, все слои — тот же бюджет адаптера, что у gate-запусков.
• 🚀 Чекпойнт step 22800: именно его использовали в бенчмарках статьи.
• 🤖 В репозитории lora_step22800.pt и params.json; загрузка через TokenGate.

🚀 Пример

from huggingface_hub import hf_hub_download
import torch
from tokengate.e2e_gate.gate_module.lora import load_lora_state_dict

sd = torch.load(hf_hub_download("liana313/tokengate-sftbase-multinews-qwen3-1.7b",
                                "lora_step22800.pt"), map_location="cpu", weights_only=True)
load_lora_state_dict(model, sd)

Подробнее

LoRA: r16, alpha 32, q_proj/v_proj, все слои.
Step 22800 выбран по максимальной held-out test accuracy на полном контексте среди сохранённых шагов.
Для запуска нужен TokenGate; требования к VRAM в карточке не указаны.
Метрик в карточке нет — это baseline, а не token-gated вариант.