Ministral-3-3B-Instruct-trl-grpo

Модель от georgia-a — дообученная версия mistralai/Ministral-3-3B-Instruct-2512-BF16 на датасете lmms-lab/multimodal-open-r1-8k-verified. Обучение выполнено через TRL методом GRPO, представленным в работе DeepSeekMath.

🔧 Ключевые особенности

• ⚙ Основа — instruct-модель Ministral размером 3B.
• 📚 Дообучение на multimodal-open-r1-8k-verified.
• 🔥 Использован метод GRPO для обучения с подкреплением.
• 🖥 Запуск через transformers.pipeline с device_map="auto".
• ⚠ В карточке нет бенчмарков и данных о требованиях к VRAM.

📝 Пример

from transformers import pipeline

question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="georgia-a/Ministral-3-3B-Instruct-trl-grpo", device_map="auto")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])