Ministral-3-3B-Instruct-trl-grpo
GRPO-файнтюн компактной instruct-модели
1 min read
Модель от georgia-a — дообученная версия mistralai/Ministral-3-3B-Instruct-2512-BF16 на датасете lmms-lab/multimodal-open-r1-8k-verified. Обучение выполнено через TRL методом GRPO, представленным в работе DeepSeekMath.
Ключевые особенности
- Основа — instruct-модель Ministral размером 3B.
- Дообучение на
multimodal-open-r1-8k-verified. - Использован метод GRPO для обучения с подкреплением.
- Запуск через
transformers.pipelineсdevice_map="auto". - В карточке нет бенчмарков и данных о требованиях к VRAM.
Пример
from transformers import pipeline
question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="georgia-a/Ministral-3-3B-Instruct-trl-grpo", device_map="auto")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])Подробнее
Обучение: GRPO по статье DeepSeekMath, фреймворк TRL 1.17.1.Версии: Transformers 5.23.0.dev0, PyTorch 2.11.0+cu130.
Ограничения: бенчмарки, языки и требования к железу в карточке не указаны.










Comments