MedErtas v0.1 27B LS Perigee

Perigee — вспомогательная модель (драфтер) для MedErtas-v0.1-27B-LS от Ertas AI. Она обучена на медицинских ответах и ускоряет основную модель через speculative decoding в vLLM. Размер — 4.0 GB, лицензия Apache 2.0.

▶ Ключевые особенности

• ➕ Предлагает несколько токенов вперёд, а основная модель проверяет их за один проход.
• 🔜 Обучена на медицинских ответах и лучше угадывает формулировки в медицинском домене.
• 🔙 Базируется на RedHatAI/Qwen3.8-27B-speculator.dspark.
• ➖ Не предназначена для самостоятельной генерации текста.
• ➗ Требует vLLM 0.32.0 и DSpark speculative decoding.

🔜 Пример

vllm serve ErtasAI/MedErtas-v0.1-27B-LS \
  --language-model-only \
  --max-model-len 65536 \
  --speculative-config '{"method":"dspark","model":"ErtasAI/MedErtas-v0.1-27B-LS-Perigee","num_speculative_tokens":7}'

Подробнее

Замеры с основной MedErtas-v0.1-27B-LS, 7 draft-токенов, одна RTX PRO 6000, vLLM 0.32.0: 207 ток/с на клинических расчётах против 188 у драфтера Red Hat; 188 против 179 на экзаменационных ответах.
На длинных историях болезни Perigee медленнее: 227 против 241 ток/с.
Размер драфтера — 4.0 GB. Совместимость с другими основными моделями не измерялась.