DeepSeek-V4-Pro-Qwen3.5-9B

Это reasoning-файнтюн Qwen3.5-9B на 9,65 млрд параметров, дистиллированный из ответов DeepSeek-V4-Pro в режиме Max Effect. Обучение сосредоточено на математике и STEM, при этом модель сохраняет практичность 9B-класса.

📊 Ключевые особенности

• 📌 Около 250 тыс. примеров математики и STEM: структурированный вывод, разложение задачи и аккуратный финальный ответ.
• ⚙️ Сначала чистый SFT, затем лёгкий RL-этап через GSPO (Grouped Stepwise Preference Optimization).
• 🔄 Кодинг специально не тренировали, но тесты показали небольшой перенос в программирование и tool use.
• 💻 Проверена в двух практических путях развёртывания: vLLM NVFP4 и llama.cpp MTP-Q8_0.

💡 Пример

Сценарий: пошаговое решение математической или научной задачи с проверкой промежуточных шагов. Запрос вроде «Реши задачу пошагово и проверь ответ» соответствует тому, на что модель нацелена: декомпозиция условия, вывод и финальная проверка.

Подробнее

GSM8K: 94,50% — среднее четырёх прогонов, NVFP4, vLLM.
MMLU-Pro Math: 92,40% — MTP-Q8_0 GGUF, 8K.
Средний MMLU-Pro: 90,53% по Math, Physics и Chemistry; +0,93 к базовой модели.
Кодинг и агентные данные DeepSeek 0731/0813 ещё не входили в этот дистилляционный запуск.