HuatuoGPT-Vision-2-Grader
мультимодальный оценщик ответов для медицины и RL
2 мин чтенияобновлено
Мультимодальная модель-судья (grader), которая оценивает качество ответов нейросетей по заданным критериям с опорой на медицинские изображения или чистый текст. Она построена на базе Qwen3-VL-8B-Instruct (8.77B параметров) от команды FreedomIntelligence и обучена на оценках GPT-4.1. В отличие от обычных чат-моделей, грейдер за один проход проверяет весь список правил и выдаёт строгий JSON-массив значений true/false, по которому удобно считать итоговую награду. Инструмент пригодится исследователям и разработчикам для обучения моделей методом RL (обучение с подкреплением) и автоматической валидации медицинских ассистентов.
Ключевые особенности
- Высокая согласованность с GPT-4.1: на отложенной тестовой выборке из 1 165 кейсов (25 191 критерий) модель достигает 91.9% общего совпадения с разметкой GPT-4.1 (92.4% на медицинских снимках из PubMed и 93.6% на HealthBench Professional).
- Гарантированный формат вывода: на выходе всегда формируется валидный JSON-список булевых значений ровно той длины, сколько критериев было передано в промпте.
- Поддержка штрафов и наград: система понимает как положительные критерии (например,
+5ptsза верный диагноз), так и отрицательные (например,-4ptsза выдуманную патологию), вычисляя нормированную награду в диапазоне[0, 1]. - Готовность к масштабированию: помимо стандартного запуска через
transformers, в репозитории есть скрипт пакетной оценкиscore.pyи поддержка развёртывания через SGLang и vLLM как OpenAI-совместимого сервера.
Что можно сделать
- Настроить RL-обучение (GRPO/PPO): использовать модель как reward-сервер для дообучения мультимодальных медицинских VLM на открытых вопросах без необходимости платить за API закрытых моделей.
- Автоматизировать бенчмаркинг: прогонять пакеты диалогов со снимками (рентген, графики из статей) через
score.pyдля объективного сравнения разных версий своих моделей по строгому чек-листу. - Фильтровать синтетические датасеты: отсеивать ответы с галлюцинациями и фактологическими ошибками в медицинских и общих текстовых диалогах перед SFT-обучением.
Пример
from PIL import Image
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "FreedomIntelligence/HuatuoGPT-Vision-2-Grader"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="auto", device_map="auto").eval()
# Подаём изображение и промпт GRADING_TEMPLATE с диалогом и списком критериев
# Выход модели — JSON-список по порядку критериев: [true, true, false]
Подробнее
Базовая модель: Qwen/Qwen3-VL-8B-Instruct (8.77B параметров).Метрики согласованности с GPT-4.1: 92.4% на PubMed figures (balanced accuracy 92.2%), 93.6% на HealthBench Professional (93.1%), 91.7% на общих и медицинских текстах (91.6%).
Ограничения: при инференсе процессор сжимает изображения максимум до 921 600 пикселей (разрешение обучения); в протоколе RL отбрасывается блок размышлений (thinking) и оцениваются первые 10 000 символов ответа.










Комментарии