AirDecision-4B-v1.2
обновленная модель для структурированных решений
2 мин чтенияобновлено
Модель AirDecision-4B-v1.2 представляет собой автономную систему для классификации текста и принятия решений, созданную на базе unsloth/Qwen3.5-4B. Она решает задачи оценки вариантов, бинарных вероятностей и порядковых ожиданий за один прямой проход с нулевым количеством сгенерированных токенов на выходе. По сравнению с предыдущей версией в ней расширена обучающая выборка на основе документов O*NET и улучшена симметрия формулировок. Модель ориентирована на разработчиков и исследователей, занимающихся автоматизированной оценкой и тестированием на бенчмарках вроде JevBench.
Ключевые особенности
- Обучение на распределениях: использование кросс-энтропии по мягким распределениям (soft-distribution cross-entropy) для точной калибровки вероятностей.
- Синтез данных: генерация обучающих примеров по спецификациям с двойной слепой проверкой качества.
- Инвариантность к формулировкам: устойчивость к изменению порядка опций и форме вопросов (симметрия отрицаний).
- Нулевые затраты на генерацию: оценка вариантов происходит в один проход без autoregressive-генерации текста.
- Изолированный рантайм: готовый локальный HTTP-сервер со строгим контролем длины контекста и возвратом ошибок при превышении лимитов.
Что можно сделать
- Запустить локальный сервер для оценки решений через скрипты интеграции с JevBench.
- Интегрировать модель в Python-приложения для автоматической классификации обращений или задач по критериям.
- Проводить воспроизводимую оценку бизнес-логики и вариантов выбора в закрытых контейнерах без доступа к сети.
Пример
import sys
sys.path.insert(0, "./AirDecision-4B-v1.2")
from inference import DecisionEngine
engine = DecisionEngine("./AirDecision-4B-v1.2", device="cuda", dtype="bfloat16", max_length=8192)
response = engine.predict({
"state": {"ticket": "Invoice charged twice for subscription renewal", "tier": "pro"},
"questions": {
"route": {
"type": "choice",
"instructions": "Select the handling queue.",
"criteria": {
"billing": "Payment, invoice, or refund issues",
"technical": "Product bugs or outages",
},
},
},
})
print(response["answers"])
Подробнее
Бенчмарки: средняя точность по 7 тестовым наборам составляет 91.38%, на JevBench Hard модель показала 77.48% (86/111).Требования к железу: поддержка GPU с dtype bfloat16, используется стандартная архитектура PyTorch с SDPA.
Ограничения: максимальная длина контекста — 8192 токена, до 62 вариантов ответа на вопрос. Выходные токены равны нулю.










Комментарии