Quyet-1.2-Large
модель принятия решений с оценкой вероятностей
2 мин чтенияобновлено
Quyet-1.2-Large — специализированная decision-модель (модель принятия решений) на базе мультиязычной google/gemma-4-31B-it от Chinh Nguyen. Вместо привычной генерации текста она принимает на вход состояние (любой текст, JSON или диалог) и список типизированных вопросов, возвращая откалиброванные вероятности для каждого варианта ответа. Поддерживаются три типа вопросов: выбор одного варианта из списка до 256 пунктов (choice), порядковая шкала оценки от 2 до 10 уровней (score) и бинарная проверка истинности (noul). Модель пригодится разработчикам для задач роутинга, структурированной классификации и оценки уверенности ответа без парсинга свободного текста LLM.
Ключевые особенности
- Без генерации текста: использует отдельную голову (option head в F32) и оценки символов словаря, сразу выдавая структурированные вероятности и уровень уверенности (
confidence). - Длинный контекст без обрезки: принимает до 32 768 токенов целиком — если вход превышает лимит, запрос отклоняется, а не обрезается втихую.
- Кэширование общего префикса: опция
prefix_cache=Trueпозволяет обработать общий контекст один раз при задании сразу нескольких вопросов к одному состоянию. - Проверка целостности: при загрузке автоматически проверяются файлы модели и хэши весов.
Что можно сделать
- Маршрутизация обращений в поддержке: по входящему сообщению клиента одновременно определить его намерение, срочность запроса и эмоциональный тон по шкале.
- Фильтрация и оценка данных в пайплайнах: прогонять длинные JSON-документы или диалоги через набор критериев, получая готовые вероятности вместо нестабильного JSON-вывода обычных LLM.
- Скоринг и приоритизация заявок: использовать режим
scoreдля ранжирования обращений по заданным уровням с прозрачной оценкой уверенности модели.
Пример
import quyet
m = quyet.load("chinhnc/Quyet-1.2-Large")
r = m.predict(
{"message": "Please close my card, I lost it yesterday."},
{"intent": {"type": "choice", "instructions": "What does the customer want?",
"criteria": {"cancel": "close the card", "limit": "change the limit", "other": None}},
"urgent": {"type": "noul", "instructions": "The request is urgent."}},
)
print(r["answers"])Подробнее
Параметры: 31.3B (30.7B текстовая часть + отдельная F32 option head), общий вес файлов 62.5 ГБ в BF16.Железо: запускается в BF16 на одной GPU 80 ГБ (на H100 занимает ~62 GiB выделенной и ~76 GiB зарезервированной памяти; при нехватке памяти батч автоматически делится).
Лицензия: Apache-2.0 (требуется сохранять файл NOTICE при распространении).
Ограничения: не тестировалась на безопасность, предвзятость и устойчивость к атакам; в половинчатой точности возможны небольшие расхождения на пограничных вопросах.










Комментарии