d3-ultra

d3-ultra — новая мультимодальная decision-модель от vllm-sr (Decision 3.0, vLLM Semantic Router) с 26,09 млрд параметров, включая 0,46 млрд vision encoder. На вход принимает текст или JSON, опционально изображения и видео, а на выходе даёт вероятности для вариантов ответа: Choice, Yes/No, Score, Box и Track — без генерации текста. Задача в метаданных — zero-shot-classification, лицензия Apache-2.0.

➕ Ключевые особенности

• 🔤 Читает вход один раз на запрос и отвечает сразу на все вопросы к нему.
• ➕ Поддерживает несколько изображений и видео в одном запросе; картинки можно вставлять в вопросы и варианты.
• ➖ Box: находит объект по текстовому описанию и возвращает один бокс с confidence.
• ✖ Для видео — бокс в нужный момент или трек по всему клипу с вероятностью видимости цели.
• 🟰 Контекст до 131 072 токенов на вопрос; в карточке указан запуск на одной AMD Instinct MI325X.

▶ Пример

from transformers import AutoModel
model = AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)
out = model.system_one(
    state="Ticket: the invoice total is wrong after the plan change.",
    questions={"route": {"type": "choice", "instructions": "Which team handles this?",
                         "criteria": {"billing": "Billing", "tech": "Technical support"}}},
)
print(out)

Подробнее

Медианное время: 304 мс — 2,16 с на 1–255 вопросов к одному изображению (AMD Instinct MI325X, AutoModel).
Контекст: до 131 072 токенов на вопрос.
Box всегда возвращает ровно один бокс — смотрите на confidence; ниже 0,10 объект считается не найденным.
Лицензия Apache-2.0.