Metis Hybrid Olala mini
гибридная модель для структурированных запросов
2 мин чтения
Эта модель представляет собой LoRA-адаптер (небольшая надстройка над базовой моделью) и калибратор поверх замороженной базы OVHaiLLM/Olala-v1.0-mini-7A1B (6.8B параметров всего, около 1B активных на токен) от GreenPT. Она создана для ответов на запросы формата TypeSafe Jev /v1/systemone с откалиброванными вероятностями и при этом сохраняет функции обычного чата. В отличие от стандартной базы, здесь добавлены голова принятия решений и покадровый калибратор calibrator.pt, а в запросах используется сокращённый системный промпт. Модель пригодится разработчикам, которым нужны структурированные решения с числовой оценкой уверенности.
Ключевые особенности
- Гибридная архитектура: объединяет LoRA-адаптер (rank 16), три обученные строки специальных токенов, голову принятия решений и калибратор
calibrator.pt. - Калибровка вероятностей: выдаёт откалиброванные оценки уверенности для ответов на запросы, что снижает расхождение между уверенностью и реальной точностью.
- Три режима работы: поддерживает вывод только ответов (
systemone), совмещённый режим с пояснениями (both) и режим обычной языковой модели (text). - Готовая обвязка: включает код загрузки
integrated_decisions_v2и скрипт запуска сервераscripts/serve.py.
Что можно сделать
- Развернуть API-сервер: поднять локальный сервис для обработки POST-запросов
/v1/systemoneчерез скриптserve.pyв Docker-образе OVHai LLM. - Интегрировать в Python: подключать модель через класс
DecisionLMдля программной обработки состояний и вопросов. - Получать пояснения к решениям: запускать режим
mode="both", чтобы помимо вероятностей получать текстовое обоснование каждого ответа. - Использовать в режиме чата: вести обычный диалог со стандартным системным промптом базовой модели Olala mini.
Пример
import os, sys
from huggingface_hub import snapshot_download
os.environ["IDV2_BACKBONE_REVISION"] = "0fde460f37d0fe2c390619bb5729c9d81dc89091"
path = snapshot_download("GreenPT/metis-hybrid-olala-v1.0-mini")
sys.path.insert(0, path)
from integrated_decisions_v2 import DecisionLM
model = DecisionLM.from_pretrained("OVHaiLLM/Olala-v1.0-mini-7A1B").to("cuda").eval()
model.load(path)
model.systemone({"state": "...", "questions": {...}})
Подробнее
Бенчмарки: 169 из 231 на публичном JevBench, 72.1% на generated dev, 85.2% in-domain и 61.2% на отложенных задачах (PIQA, ANLI, WinoGrande); ECE на сложных задачах — 0.142 (с порогом) и 0.112 (без порога).Железо и скорость: нужно загружать все 6.8B параметров (активно ~1B на токен); на одной H200 обработка решения занимает ~0.18 с, генерация текста — ~12 токенов/с.
Ограничения: модель не достигает целевого порога калибровки 0.10 ни в одной конфигурации; текст внутри
state нужно считать недоверенным из-за риска инъекций.Обучение: 2 этапа (4 938 и 920 шагов) на H200, калибратор обучен методом PCA 32 с L2-регуляризацией 0.001.










Комментарии