BunGPT-DeepEdu-Decision-4B-Open
модель для быстрых продуктовых решений без генерации текста
2 мин чтения
Модель оценивает состояние (сообщение, диалог или документ) и несколько вариантов выбора за один проход, выдавая вероятности и сырые скоры для каждой опции. Она создана на базе Qwen3.5-4B с добавлением специальной головки для скоринга (scoring head). В отличие от обычных LLM (больших языковых моделей), этот инструмент не генерирует текст, а возвращает структурированные ответы для классификации и маршрутизации. Модель пригодится разработчикам для встраивания в продукты: фильтрации сообщений, определения интентов или маршрутизации запросов.
Ключевые особенности
- Оценка опций за один проход: обрабатывает документ и сразу несколько вопросов с вариантами ответа или да/нет.
- Высокая скорость работы: разделяет общий контекст запроса, что ускоряет обработку множества вопросов.
- HTTP-сервер из коробки: поддерживает API, совместимый с форматом Jev Decision Index.
- Открытый код инференса: пакет python и сервер распространяются под лицензией Apache-2.0.
Что можно сделать
- Интегрировать в чат-бот: настроить автоматическое определение намерений пользователя (intent) для маршрутизации запросов.
- Добавить фильтрацию: проверять сообщения на предмет безопасности и соответствия правилам школьной среды.
- Анализировать документы: оценивать соответствие текста заданным критериям или классифицировать типы обращений.
Пример
from deepedu_decision import DecisionModel
model = DecisionModel.from_pretrained("DeepEduVN/bungpt-open", device="cuda:0")
state = "Học sinh: Em không hiểu vì sao đạo hàm của x^2 là 2x..."
questions = {
"intent": {
"type": "choice",
"instructions": "What does the student want?",
"criteria": {"explain": "An explanation", "solve": "A solution"},
}
}
print(model.decide(state, questions))
Подробнее
Бенчмарки: на DeepEdu benchmark средний результат составляет 0.702 (лучшая в маршрутизации — 0.820).Требования к железу: тестировалось на GPU RTX 3090, поддерживается кэширование префиксов.
Ограничения: слабее в вопросах вьетнамского права и знаний, чем конкуренты; оценивает только фиксированный набор опций и не является чат-моделью.
Архитектура: Qwen3.5-4B (4.66 млрд параметров) с дополнительной головкой скоринга.










Комментарии