Ministral 3 8B

Это экспериментальный файнтюн Ministral 3 8B (8,92 млрд параметров) от xtools-at на базе unsloth/Ministral-3-8B-Reasoning-2512. Модель дообучена на 8 000 примерах reasoning-трейсов Claude Opus и Sonnet, чтобы перенести более структурное многошаговое рассуждение в компактную LLM. Цель — не удлинять ответы, а улучшать подход к задачам; независимых бенчмарков в карточке нет.

🤔 Ключевые особенности

• 🤖 LoRA-файнтюн на 8 000 примерах из четырёх наборов с трейсами Claude Opus и Sonnet.
• 🔥 Ориентирован на многошаговые задачи, код, математику и аналитику.
• 👀 Один epoch, LoRA 16-bit, r=16, alpha=32, контекст до 8 192 токенов.
• 🚀 Подходит для локального инференса и экспериментов с дистилляцией reasoning.
• 🧐 Оценка ограничена: train loss 0,567 и eval loss 0,501 — это диагностика, а не бенчмарк.

👀 Пример

Сценарий из карточки — локальный запуск для многошагового разбора задачи: например, попросить модель решить задачу по шагам, проверить вывод и объяснить ход рассуждения. Заявлены код, математика и аналитические вопросы, но результаты нужно проверять.

Подробнее

Обучение: 8 000 примеров, 1 epoch, LoRA 16-bit, r=16, alpha=32, dropout=0,02, LR 2e-4, контекст 8 192 токена.
Диагностика: train loss 0,567, eval loss 0,501; независимых бенчмарков нет.
Ограничения: возможны ошибки в рассуждениях, синтетическое смещение и просадка общих способностей; vision отдельно не проверялся.
Для продакшена карточка советует сравнивать с базовой моделью на репрезентативных задачах.