SwAP-7B-theta0.1
языковая модель с укороченными рассуждениями
2 мин чтенияобновлено
Модель обучена по методу SwAP (Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning, описанному в статье для NeurIPS 2026). Она сокращает цепочки рассуждений (Chain-of-Thought, внутренние мыслительные шаги модели) за счет штрафа за избыточную длину в зависимости от важности каждого шага. Базой выступает deepseek-ai/DeepSeek-R1-Distill-Qwen-7B (7.62 млрд параметров), дообученная на математических задачах с помощью алгоритма GRPO. Модель выдает ответы почти вдвое быстрее и короче по числу токенов, сохраняя точность базовой модели на сложных тестах. Полезно исследователям и разработчикам, работающим с эффективностью рассуждений LLM.
Ключевые особенности
- Основана на DeepSeek-R1-Distill-Qwen-7B с использованием алгоритма GRPO и метода SwAP.
- Обучена на датасете DeepScaleR (40K соревновательных математических задач).
- Сокращает среднюю длину ответов на сложных задачах с 8102 до 4970 токенов.
- Сохраняет высокую точность на бенчмарках уровня MATH-500 и GPQA-Diamond.
Что можно сделать
- Запустить генерацию математических рассуждений через библиотеку vllm с уменьшенной длиной ответа.
- Применять в ботах и сервисах для решения сложных задач, где важна скорость и экономия токенов.
- Использовать как основу для экспериментов с длиной Chain-of-Thought рассуждений.
Пример
Пример инференса модели для решения математических задач с помощью vllm:
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model = "Kaylee0501/SwAP-7B-theta0.1"
tok = AutoTokenizer.from_pretrained(model)
question = "What is the sum of all positive divisors of 36?"
prompt = tok.apply_chat_template(
[{"role": "user", "content": question + " Let's think step by step and output the final answer within \\boxed{}."}],
tokenize=False, add_generation_prompt=True)
llm = LLM(model=model)
out = llm.generate([prompt], SamplingParams(temperature=0.8, top_p=0.95, max_tokens=16384))
print(out[0].outputs[0].text)Подробнее
Метрики и обучение:• Средняя длина ответов сократилась с 8102 до 4970 токенов при сопоставимом среднем качестве (64.5% против 64.8%).
• Точность на MATH-500: 93.5%, GPQA-Diamond: 49.5%.
• Фреймворк обучения: verl.










Комментарии