Qwen3.5-9B-VK-OPD-think-R3b

Исследовательский чекпоинт от ohjoonhee на базе Qwen3.5-9B: полный файнтюн языковых слоёв и финальной нормы, 9,41 млрд параметров, bf16. Это третий раунд VK-OPD в thinking-режиме (R3b, seed 3, шаг 80), обученный для вопросов по изображениям и знаний о мире.

🧐 Ключевые особенности

• 👀 Для фото-вопросов модель учили отв��чать по тому, что реально видно на снимке, даже если это нетипично.
• 🤔 Для вопросов о знаниях — отвечать общими фактами о мире, даже если фото показывает другое.
• 🫡 В обучении использовали прайминг: факт перед фото-вопросом и указание «изучи фото» перед вопросом на знания.
• 🔥 80 шагов, lr 3e-6, 8 пар изображений (16 промптов) × 4 роллаута на шаг, до 4 096 токенов, 4× H100.
• 🧐 Данные: 30% обычных пар и 70% пар с праймингом; только изображения, где учитель верно ответил на все пункты в 2 из 2 сэмплов.

👀 Пример

Фото-вопрос: «Что изображено?» с системной подсказкой «Отвечай по тому, что реально видно на изображении, даже если это отличается от типичного». Для вопроса на знания подсказка меняется: «Отвечай тем, что обычно верно в реальном мире, даже если на фото другое».

Подробнее

На приватном тесте v3 (n 1 186, thinking on, 1 сэмпл): CV 81,1; CK 93,6; NV 81,4; NK 91,9; All-4 60,9 против 43,5 у базы (+17,4 п.п., 95% CI).
KT — 94,7. Один seed; это не релиз, а чекпоинт для сравнения внутри раунда 3.
MTP-голова базовой модели не включена. Обучение шло на 4× H100.