Qwen3.8-27B-Decision-v0.4
модель для оценки вероятностей выбора и принятия решений
2 мин чтенияобновлено
Модель Qwen3.8-27B-Decision-v0.4 создана на базе Qwen3.8-27B (модели с 26.9 млрд параметров) и обучена решать задачи принятия решений. Она принимает состояние, вопрос и от 2 до 255 упорядоченных вариантов ответа, после чего оценивает их вероятности за один прямой проход (forward pass). Это независимая реализация интерфейса принятия решений в стиле Jev. Модель пригодится разработчикам и исследователям для автоматизации выбора вариантов в сложных диалогах или бизнес-процессах.
Ключевые особенности
- Архитектура: смешанные слои полного внимания и линейного внимания (recurrent layers) с обученной головой принятия решений.
- Обучение: использовались LoRA (небольшая надстройка над базовой моделью) с рангом 32 и софт-таргет кросс-энтропия на 1.2 млн записей.
- Вывод: специализированный скер (scorer) использует точный шаблон токенизатора для оценки только финальной позиции решения.
- Производительность: превосходит референсные показатели Jev 1.14 на ряде бенчмарков (например, Decision Index Public 65.17 против 60.70).
Что можно сделать
- Автоматизация саппорта: интегрировать в систему поддержки для оценки следующих шагов оператора или агента по кодексу компании.
- Анализ вариантов: использовать для ранжирования возможных ответов или действий в диалоговых системах.
- Тестирование бенчмарков: запускать оценку сложных структурированных задач с множеством альтернативных выборов.
Пример
cd decision-model
python predict.py --state "The customer would like to reschedule a flight. The booking number is missing." \
--question "Which action should the agent take next?" \
--option "Ask for the booking number" --option "Confirm the flight has been changed"Подробнее
• Бенчмарки: Decision Index Public — 65.17, JevBench Public — 88.74%, DecisionBench — 77.04%.• Железо и VRAM: 12 шардов весом 56.34 GB; проход на 64K токенов на H100 80 GB занял 65.46 GiB пиковой памяти.
• Ограничения: входные данные сверх лимита вызывают ошибку вместо отсечения вариантов; точность на порядковых шкалах ниже референса.
• Базовая модель: Qwen/Qwen3.8-27B под лицензией Apache 2.0.










Комментарии