Llama-3.3-70B-Instruct-Post-Reasoning
быстрая LLM с обоснованием после ответа
2 мин чтенияобновлено
Модель основана на популярной архитектуре meta-llama/Llama-3.3-70B-Instruct и дообучена с помощью метода LoRA (небольшая надстройка над базовой моделью) на математических задачах NuminaMath. Главная особенность подхода Post-Reasoning — заставить модель сначала выдать прямой ответ, а затем расписать его обоснование. Это позволяет пользователю прочитать результат мгновенно, не дожидаясь генерации длинных цепочек рассуждений перед ответом. Модель пригодится разработчикам и исследователям, которым важна скорость получения ответа от крупной языковой модели без потери в качестве объяснений.
Ключевые особенности
- Пост-рассуждение: модель выдает финальный ответ в самом начале генерации.
- Базовая модель: построена на мощной Llama-3.3-70B-Instruct с 70.55 млрд параметров.
- Датасет: дообучение проводилось на задачах NuminaMath с самодистиллированными обоснованиями.
- Интеграция: веса полностью объединены с базовой моделью в формате bf16 для удобного запуска.
Что можно сделать
- Применить в чат-ботах для мгновенного вывода решений математических и логических задач.
- Настроить остановку генерации (например, по токену Explanation), чтобы экономить время и токены.
- Использовать в исследовательских проектах по оптимизации скорости работы LLM.
Пример
from vllm import LLM, SamplingParams
llm = LLM(model="richmondsin/Llama-3.3-70B-Instruct-Post-Reasoning")
prompt = "What is 10 + 2? State the final answer immediately and justify your answer."
out = llm.chat([{"role": "user", "content": prompt}], SamplingParams(temperature=0, max_tokens=512))
print(out[0].outputs[0].text)
Подробнее
Метод обучения: LoRA (r 16, lora_alpha 32, dropout 0.05)Параметры обучения: learning rate 2e-5, 3 эпохи, cosine schedule
Основана на статье: Post-Reasoning: Improving the Performance of Non-Thinking Models at Negligible Cost (arXiv:2605.06165)
Лицензия: соответствует лицензии базовой модели llama3.3










Комментарии