d1-Omni-2B

d1-Omni-2B от LiquidAI — decision-модель на базе LFM3-Omni-2B: 2,17 млрд параметров и 128K контекста. Она возвращает калиброванные ответы за один forward pass, без генерации токенов, и принимает текст или JSON, изображения, видео и аудио.

🎧 Ключевые особенности

• 🎧 Нативное аудио: клипы и устные вопросы идут через тот же проход, что текст и картинки; на незнакомых задачах устные вопросы отстают от письменных в пределах 0,5 балла.
• ⏰ Миллисекундные решения: 5,8 ms на NVIDIA H100 и 3,7 ms на AMD MI325X; с 10-секундным клипом — 12,4 и 8,2 ms.
• 🔮 Не только классификация: извлекает текст, числа и даты со span, находит объекты на картинках и оценивает количество с интервалом.
• 🌎 16 языков, включая русский; речь покрывает те же языки, кроме хинди, тайского, вьетнамского и индонезийского.
• 📚 Вход: состояние (текст или JSON), картинки, видео, аудиоклипы и любое число именованных вопросов — письменных или устных.
• ❌ Это не chat-модель: она не пишет транскрипты и не генерирует речь.

💻 Пример

from transformers import AutoModel
import torch
model = AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True, dtype=torch.bfloat16).to("cuda")
out = model.system_one(None, {
    "speech": {"type": "noul", "instructions": "Does someone speak in the recording?"},
}, media=[{"type": "audio", "path": "call.wav"}])
print(out["answers"]["speech"]["noul"] > 0.5)

Подробнее

Скорость: 5,8 ms на NVIDIA H100 и 3,7 ms на AMD MI325X; с 10-секундным клипом — 12,4 и 8,2 ms.
Устные вопросы на незнакомых задачах — в пределах 0,5 балла от письменных.
2,17B параметров, 128K контекста, лицензия LFM Open License v1.0.
Длинные устные фрагменты заметно теряют точность, особенно вне латиницы. Без аудио лучше d1-2B: сильнее на тексте и одиночных bounding box, чаще сообщает об отсутствующих значениях и лучше калибрована.