qwen3-0.6b-mbpp-grpo-k4
компактная Qwen3, дообученная писать код на Python
2 min readupdated
Небольшая языковая модель на 0.6B параметров, дообученная решать базовые задачи программирования на Python. В основе лежит Qwen/Qwen3-0.6B от команды Qwen, которую автор shbv дотренировал на датасете google-research-datasets/mbpp с помощью библиотеки TRL (инструмент для обучения с подкреплением). Для обучения применялся метод GRPO (алгоритм оптимизации, популяризированный в работе DeepSeekMath). Модель подойдёт для экспериментов с компактными LLM, локального запуска на слабом железе и сравнения разных параметров GRPO.
Ключевые особенности
- Базовая архитектура — компактная Qwen3-0.6B (0.6 млрд параметров), адаптированная под генерацию текста и кода.
- Дообучение проведено на датасете MBPP (Mostly Basic Python Problems) от Google Research.
- Использован алгоритм обучения с подкреплением GRPO (Group Relative Policy Optimization) через фреймворк TRL.
- В релизе также доступны соседние варианты модели с другими настройками группировки: k2, k8 и k16.
Что можно сделать
- Запустить локальный генератор простых Python-функций и скриптов даже на видеокарте с минимальным объёмом VRAM.
- Сравнить качество генерации кода между вариантами k2, k4, k8 и k16 в своих бенчмарках или учебных экспериментах с RL.
- Встроить модель в локальный чат-бот или пайплайн через стандартный
pipelineбиблиотекиtransformers.
Пример
from transformers import pipeline
question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="shbv/qwen3-0.6b-mbpp-grpo-k4", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])
Подробнее
Обучена с использованием TRL 1.8.0, Transformers 5.23.0 и PyTorch 2.11.0.Метод обучения: GRPO (по статье DeepSeekMath, arXiv:2402.03300).
Метрики оценки качества в карточке модели не приведены.










Comments