Sloth-27B-v1
модель на 26B для маршрутизации и выбора решений
2 мин чтенияобновлено
Sloth-27B-v1 от автора cjqhhh — это специализированная модель для принятия структурированных решений по текстовому или JSON-контексту. Вместо генерации свободного текста она выбирает один из заданных вариантов ответа и возвращает распределение вероятностей по всем кандидатам. Модель построена на базе vllm-sr/d3, имеет около 26,09 млрд параметров и оснащена специальной головой классификации (decision head) в точности FP32. Она пригодится разработчикам для задач роутинга пользовательских запросов, оценки релевантности и автоматизации бизнес-правил без риска галлюцинаций в формате ответа.
Ключевые особенности
- Без свободной генерации: модель не пишет лишний текст, а строго выдаёт типизированное решение (выбор из списка до 255 вариантов или бинарный ответ) и вероятности.
- Пакетная обработка вопросов: к одному общему состоянию (контексту) можно сразу задать несколько вопросов в одном батче.
- Гибкий формат входа: принимает описание ситуации в виде обычного текста или JSON-объекта вместе с инструкциями и критериями для каждого варианта.
- Фокус только на тексте: унаследованные от базовой модели веса для работы с изображениями в этом релизе не тестировались.
Что можно сделать
- Маршрутизация обращений в саппорте: автоматически распределять входящие тикеты и сообщения пользователей между отделами (биллинг, техподдержка, продажи) по заданным критериям.
- Фильтрация и оценка релевантности: проверять соответствие документов или ответов заданным правилам через бинарные проверки (
noul) с получением вероятности истинности. - Оркестрация в AI-агентах: использовать модель как быстрый и строгий роутер для выбора следующего шага в многоступенчатых сценариях обработки данных.
Пример
from transformers import AutoModel
model = AutoModel.from_pretrained("./Sloth-27B-v1", trust_remote_code=True, device="cuda:0")
res = model.system_one(
state={"message": "Please send me the invoice for my order."},
questions={"route": {"type": "choice", "instructions": "Choose team", "criteria": {"billing": "Invoices", "sales": "Enquiries"}}}
)
print(res["answers"]["route"]["choice"])
Подробнее
Параметры: ~26,09B (11 шардов BF16 safetensors) + readout-голова в FP32 на 255 кодов ответов.Требования: веса занимают около 52,2 ГБ, требуется Linux с GPU и CUDA.
Ограничения: калибровка вероятностей независимо не оценивалась; инференс на GPU для релиза повторно не тестировался.










Комментарии