MedCoast PRM
модель оценки медицинских рассуждений
1 мин чтенияобновлено
Модель основана на answerdotai/ModernBERT-base и создана для оценки промежуточных цепочек рассуждений в медицинских вопросах и ответах (medical QA). Чекпоинты предназначены исключительно для инференса и оценивают качество попарных рассуждений. Входные данные ограничены 2048 токенами. Чекпоинты представляют собой словари с model_state в формате fp32 и конфигурацией.
Ключевые особенности
- Основана на answerdotai/ModernBERT-base
- Оценивает промежуточные цепочки рассуждений для medical QA
- Предоставлено несколько вариантов чекпоинтов с разными параметрами dsim и a
- Предназначена для инференса
Что можно сделать
- Применить для оценки качества медицинских рассуждений в QA-задачах
- Использовать класс PRMScorer для загрузки и инициализации чекпоинтов
- Сравнить точность разных версий чекпоинтов на валидационных данных
Пример
from huggingface_hub import hf_hub_download
from model.prm_scorer import PRMScorer
ckpt = hf_hub_download("zhongys97/MedCoast", "medcoast_prm_dsim0.75_a0.0.pt")
scorer = PRMScorer(api_keys_json_path="api_keys.json",
base_model_name="answerdotai/ModernBERT-base",
ft_model_path=ckpt)Подробнее
Максимальная длина входа: 2048 токеновЛучшая точность на валидации (val pairwise acc): 0.6093 (dsim=0.85, a=0.0)
Формат чекпоинтов: fp32 model_state и config
Базовая модель: answerdotai/ModernBERT-base










Комментарии