1⃣ clm-system1-medmcqa-granite-4.2-3b
быстрый выбор ответа в медицинских тестах без генерации текста
2 min readupdated
Исследовательский прототип от автора pavanmantha для решения медицинских тестов с выбором одного из четырёх вариантов. Вместо долгой пошаговой генерации текста («System 2») модель работает в один проход: замороженная языковая модель ibm-granite/granite-4.2-3b (на 3 млрд параметров) превращает вопрос и каждый вариант ответа в векторы, а две обученные «головы» (небольшие нейросетевые проекторы) переводят их в общее 512-мерное пространство и выбирают самый близкий по косинусному сходству вариант. Такой подход сильно экономит вычисления по сравнению с обычными LLM (большими языковыми моделями), но пока точность составляет 42,5% — модель создана для экспериментов с архитектурой, а не для реальной медицины.
Ключевые особенности
- Работа в один проход: модель не генерирует рассуждения токен за токеном, а сразу сравнивает эмбеддинги (векторные представления) вопроса и вариантов ответа.
- Две обученные головы: веса базовой
ibm-granite/granite-4.2-3bв формате bfloat16 полностью заморожены; обучались только две MLP-головы (для вопроса и для ответов) и один параметр масштаба. - Признаки с 8 слоёв: для каждого текста извлекаются скрытые состояния последнего токена с 8 разных глубин сети (от 25% до 100%), нормализуются и склеиваются в вектор размерностью 20 480.
- Контрастивное обучение: головы обучались с функцией потерь InfoNCE на 134 416 вопросах из датасета MedMCQA (вступительные медицинские экзамены в Индии).
Что можно сделать
- Изучить подход «System 1» для тестов: использовать код и архитектуру как референс для быстрой классификации и выбора вариантов без авторегрессионной генерации.
- Проверить на других доменах: взять пайплайн с извлечением скрытых состояний из разных слоёв Granite 4.2 3B и обучить лёгкие головы под свои задачи multiple-choice на английском языке.
- Сравнить с полным файнтюном: использовать модель как базовый ориентир (baseline) при исследовании того, насколько проекторы поверх замороженной LLM уступают полноценному обучению или Chain-of-Thought.
Пример
import sys
from pathlib import Path
from huggingface_hub import hf_hub_download
sys.path.insert(0, str(Path(hf_hub_download("pavanmantha/clm-system1-medmcqa-granite-4.2-3b", "clm_inference.py")).parent))
from clm_inference import SystemOneModel
model = SystemOneModel.from_pretrained("pavanmantha/clm-system1-medmcqa-granite-4.2-3b")
options = ["Vitamin A", "Vitamin B12", "Vitamin C", "Vitamin D"]
print(options[model.choose("Scurvy is caused by deficiency of which vitamin?", options)])
Подробнее
Точность на тестовой выборке MedMCQA (3842 вопроса): 42,5% ± 0,5% (для опубликованного seed 42 — 42,6%) против 25,0% при случайном угадывании и 30,8% без обученных голов.На вопросах с отрицаниями (EXCEPT / NOT) точность падает до 35,8%, на остальных составляет 44,1%.
Ограничения: только английский язык, максимум 4 варианта ответа, вопрос и варианты кодируются раздельно без взаимного контекста.
Непригодна для клинической практики и реальных медицинских решений; при первом запуске скачивает базовую модель
ibm-granite/granite-4.2-3b.









Comments