Sarvam-Prism

Sarvam-Prism — decision-модель от Sarvam AI на базе Sarvam-105B. Она принимает контекст и вопросы с фиксированным набором ответов, а за один forward pass возвращает вероятность каждого варианта. Текст не генерирует, поэтому ответ всегда из ваших опций; поддерживает английский и 10 индийских языков.

👍 Ключевые особенности

• 😐 Не генерирует текст: на выходе — вероятности по заданным вариантам.
• 📝 Три типа вопросов: choice, yes_no и score.
• 🤔 Все вопросы запроса оцениваются вместе за один проход, но независимо друг от друга.
• 🗣 Контекст до 131 072 токенов на каждый вопрос.
• ⌨ Собственный FP8-инференс: ~106 ГБ весов и GPU с ~120 ГБ памяти.

📝 Пример

from prism import Prism

model = Prism.from_pretrained(".")
answers = model.decide(
    state={"ticket": "Charged twice, no refund"},
    questions={"team": {"type": "choice", "instructions": "Which team?",
                        "criteria": {"billing": "payments", "tech": "app"}}},
)

Подробнее

Скорость на B200: медиана 44 мс, p95 — 420 мс на запрос.
Нужен один GPU с FP8 и ~120 ГБ свободной памяти (B200/H200), ~106 ГБ на диске.
Веса в кастомном FP8-формате: не загрузить через AutoModelForCausalLM и не подать обычным inference-сервером.
Лицензия Apache 2.0.