Orchidia 16K
структурированные решения поверх Qwen3.5-4B
2 мин чтенияобновлено
Orchidia 16K от автора Seedyai — это экспериментальная модель для принятия структурированных решений. Вместо генерации свободного текста она принимает исходный текстовый контекст и динамическую схему вопросов с любым количеством вариантов ответа, а на выходе возвращает точное распределение вероятностей по каждому варианту. Решение собрано на базе замороженной Qwen/Qwen3.5-4B с добавлением LoRA (небольшого адаптера, дообучающего модель без изменения основных весов) и кастомной «головы» DynamicDecisionHead. В отличие от классических классификаторов с жестко заданными классами, единый скорер оценивает любые новые вопросы и варианты прямо во время работы. Инструмент пригодится исследователям для задач сортировки обращений, маршрутизации процессов и экспериментов с вероятностной оценкой.
Ключевые особенности
- Динамическая схема вопросов: поддерживает любое количество вопросов и от двух вариантов выбора в каждом без переобучения под новые категории.
- Компактная надстройка: из всей архитектуры обучены только 21,23 млн параметров LoRA (rank 16) и 2,63 млн параметров decision head в формате float32.
- Единый механизм оценки: модель оценивает каждую пару «контекст + вопрос + вариант» и нормализует логиты через softmax внутри каждого вопроса.
- Кастомный инференс: поставляется со скриптом
inference.py, так как адаптер лежит в подпапкеadapter/и требует связки с decision head.
Что можно сделать
- Сортировка клиентских обращений: определять намерение пользователя (возврат, доставка, жалоба), срочность и необходимость эскалации за один проход.
- Маршрутизация и триаж в пайплайнах: оценивать категориальные, бинарные и порядковые критерии для распределения задач внутри рабочих процессов.
- Исследование архитектур: сравнивать эффективность связки LoRA + decision head на задачах формата датасета Open-Jev.
Пример
from inference import load_model
model = load_model(dtype="auto")
state = {"text": "Customer received the wrong product and wants a refund."}
schema = {"questions": [
{"id": "intent", "type": "categorical",
"question": "What is the customer intent?",
"choices": ["refund", "shipping", "complaint", "other"]}
]}
print(model.predict_structured(state, schema))Подробнее
Метрики: 87.52% точности на взвешенном OOD-сплите Open-Jev (при пороге 73.0% и базовом показателе 69.6% для замороженной модели) и 88.59% наpainting-geometry-v1 | noul | K=2.Обучение: 16 000 строк из
ZefanCai/Open-Jev (1 эпоха, 1000 шагов) на NVIDIA A100 80GB.Железо и требования: для запуска скачивается базовая
Qwen/Qwen3.5-4B (~8.8 GB); пакет проверен на Tesla T4 (fp16) и A100 (bf16).Ограничения: экспериментальный превью-релиз не для продакшена, работает только с текстом (максимум 512 токенов) и не калиброван для критически важных решений.










Комментарии