basal-omni-2.0-mini (preview)
решения с откалиброванной уверенностью без генерации текста
2 min readupdated
Модель от автора Remek создана для автоматизации принятия решений по тексту: она читает документ, сообщение или JSON-страницу и за один прямой проход (без долгой генерации текста) выдаёт точные вероятности для заданных вариантов ответа. В основе лежит архитектура google/gemma-4-E4B-it (7.94B параметров), дообученная под английский и польский языки. В отличие от обычных LLM (больших языковых моделей), она никогда не выдумывает ответы вне списка и возвращает отметки уверенности, по которым можно отсеивать спорные случаи для проверки человеком. Инструмент пригодится разработчикам ботов, систем маршрутизации тикетов и пайплайнов оценки данных.
Ключевые особенности
- Двунаправленное чтение: анализирует входной контекст в обоих направлениях (для промптов до 4096 токенов), что повышает точность по сравнению с версией 1.0.
- Калибровка порога ошибок: в комплекте идёт файл
CALIBRATION.jsonс порогами уверенности — при целевом уровне ошибок 1% модель автоматически закрывает 58.3% задач (фактическая ошибка 0.58%). - Высокая скорость: на одной NVIDIA H100 в режиме
--mode fastзадержка составляет 11 мс (p50) на один вопрос, а пропускная способность достигает 200 решений в секунду при пакетных запросах. - Строгие форматы: поддерживает вопросы с выбором варианта (
choice), да/нет (noul), оценку (score), а также выбор инструментов и действий в движке basal.
Что можно сделать
- Маршрутизация обращений в поддержку: автоматически распределять входящие заявки по отделам и определять срочность проблемы.
- Фильтрация и оценка в RAG-пайплайнах: проверять релевантность найденных фрагментов или фактчекинг ответов, передавая сомнительные кейсы оператору.
- Выбор действий для ИИ-агентов: использовать режимы
actиtoolдля детерминированного вызова функций без риска поломки формата ответа.
Пример
basal-serve --model Remek/basal-omni-2.0-mini-preview --port 8000
curl -s localhost:8000/v1/systemone -H 'content-type: application/json' -d '{
"state": "Клиент не может войти в онлайн-банк из-за ошибки пароля.",
"questions": {
"dept": {"type": "choice", "instructions": "Куда направить?", "criteria": {"cards": "Карты", "online": "Онлайн-банк"}},
"urgent": {"type": "noul", "instructions": "Услуга недоступна?"}
}}'
Подробнее
Бенчмарки: 0.811 на закрытом тесте Werdykt v1 (опережает torchcast-decision-4b с 0.799 и KnowLine-4B-Gen5.5 с 0.776), 0.957 на FinancialPhraseBank и 0.940 на Belebele (EN).Железо и VRAM: веса занимают ~16 ГБ; при работе на H100 требуется 20.6 ГБ VRAM в режиме
fast или 31.7 ГБ в eager с включённым --media on; поддерживается только формат bf16 (без FP8 и GGUF).Ограничения: это ранняя preview-версия для английского и польского языков; слабые места — точная арифметика и жёсткие правила (0.382 на категории rules), а также тексты длиннее 30k символов (точность 53.8%).










Comments