RuBio-8B
проверка развёрнутых ответов по биологии
2 мин чтения
RuBio-8B — модель на 8,19 млрд параметров от mulkzz для диагностики письменных ответов по корейскому школьному курсу «Биология» (2022 개정, старшая школа, разделы I–III). Это LoRA-файнтюн MegaScience/Qwen3-8B-MegaScience на данных RuIso-v6, слитый в bf16. Модель возвращает единый JSON с проверкой по критериям, диагностикой для учителя и обратной связью ученику.
Ключевые особенности
- Проверяет каждый критерий rubric и ставит
supported,contradicted,missingилиunclear. - В одном JSON отдаёт
checks,other_issues,focus,feedback,next_actionиsource_ids. - LoRA
r=16,alpha=32по модулям q, k, v, o, gate, up, down; затем слияние в полную bf16-модель. - На RuBench v1 dev точность по критериям 76,0% против 56,2% у базовой модели в «мягком» подсчёте.
- Это самая слабая по главной метрике модель в линейке RuBio: 9B и 27B заметно выше, а с 4B разница незначима.
Пример
Сценарий: на вход подаётся JSON с полями question, materials, rubric, evidence, misconceptions, reference_answer, history, feedback_mode, reveal_requested и student_answer. На выходе — JSON, где по каждому критерию указано решение, найденный фрагмент ответа и, при необходимости, ID ошибочного представления; отдельно идут общий статус, фокус и следующий шаг.
Подробнее
RuBench v1 dev: 200 ответов и 604 критерия; точность 76,0% [72,1; 79,8], валидный JSON у 199/200 ответов. Обучение: 3 579 train / 300 dev, 2 эпохи, 448 шагов, одна A40 48GB, около 10 614 секунд; веса примерно 16,4 GB в bf16.Ограничения: язык карточки и данных — корейский; 8B уступает RuBio-9B (84,9%) и RuBio-27B (86,9%), с RuBio-4B разница в пределах погрешности.
Базовая модель в строгом подсчёте получила 0,0% из-за JSON в markdown-блоках; сравнение выше использует мягкий подсчёт без код-фенсов.










Комментарии