Deletion Tuning Masks

Набор обученных масок из статьи The Surprising Effectiveness of Deleting Weights in LLM Post-Training (NeurIPS 2026). Deletion Tuning — метод пост-тренировки, который учит, какие предобученные веса LLM удалять: маска отмечает удалённые веса в каждом MLP gate projection базовой модели, а применение маски к базе даёт пост-тренированную модель.

📝 Ключевые особенности

• 🤝 Маски для GRPO, SFT и SDFT-сценариев на GSM8K, SimpleRL-Zoo, MMLU-Pro, BBEH, ToolAlpaca и Science.
• 😎 Покрыты Llama-3.2-1B/3B-Instruct, Meta-Llama-3-8B-Instruct, Qwen2.5-0.5B/3B/7B/14B и Qwen3-30B-A3B-Base.
• ⌨ Можно оценить маску скриптами репозитория или применить её к базе и сохранить обычную модель для Transformers/vLLM.
• 🤔 Для SFT-масок MMLU-Pro и BBEH указаны отдельные маски по категориям/задачам.
• 👍 Лицензия каждой маски наследуется от базовой модели.

⌨ Пример

hf download Jacklu0831/deletion-tuning-masks --include 'grpo/qwen2.5-7b-simplerl-zoo/*' --local-dir masks
bash scripts/evaluate_grpo.sh qwen7b masks/grpo/qwen2.5-7b-simplerl-zoo outputs/eval/qwen7b

Подробнее

Статья: The Surprising Effectiveness of Deleting Weights in LLM Post-Training (NeurIPS 2026).
Маски покрывают MLP gate projection и применимы к перечисленным базовым моделям.
Лицензии: Llama 3.2 Community License, Meta Llama 3 Community License, Qwen.
VRAM и цифры бенчмарков в карточке не указаны.