Nischay-1
быстрая мультимодальная модель принятия решений на базе Gemma-4
2 мин чтения
Nischay-1 от автора Ajeet-001 — это единая текстово-визуальная модель на 8,61 млрд параметров, построенная на мультимодальной базе Gemma-4. Она работает по принципу «System-1» (быстрая оценка и принятие решений без длинного пошагового рассуждения) и выдаёт откалиброванные ответы и оценки сразу по тексту и изображениям. За счёт двунаправленного механизма внимания (full-prompt noncausal SDPA) модель целиком анализирует входной запрос за один проход со скоростью десятки миллисекунд. Пригодится разработчикам систем классификации, извлечения данных из документов, UI-агентов и инструментов автоматической модерации.
Ключевые особенности
- Архитектура на базе Gemma-4: использует считывающую голову OneJev
slot_lm, приведение выходного слоя кfp32и калибровку температуры по типам задач. - Низкая задержка инференса: медианное время ответа на текстовый запрос без батчинга составляет 87,73 мс (30,0 мс в батче), на запрос с картинкой — 209,79 мс на NVIDIA A100.
- Большой контекст и разрешение: поддерживает до 131 072 токенов на запрос в тексте и изображения разрешением до 1,6 Мп (560 soft-токенов).
- Сильные результаты в извлечении данных: в визуальных тестах модель набрала 91,76% точности на KIE (CORD+FUNSD) и 82,38% на InfographicVQA.
Что можно сделать
- Извлечение информации из сканов и чеков: использовать в задачах Key Information Extraction (работа с формами, квитанциями и инфографикой).
- Автоматизация и вызов инструментов: встраивать в пайплайны выбора действий и маршрутизации запросов (75,84% в блоке Tools & Automation).
- Навигация по веб-интерфейсам: применять как быстрый визуальный классификатор элементов экрана в задачах уровня Mind2Web.
Пример
PYTHONPATH=. decision-index vision pipeline \
--dir \
--engine engine:DecisionModel \
--model Ajeet-001/nischay-1 \
--option dtype=bfloat16 \
--option max_pixels=1638400 \
--option max_soft_tokens=560 \
--out runs/vision-nischay-1 --compact --no-verifyПодробнее
Бенчмарки Decision Index 4.0 (0.4.1): Public Text Decision Index — 50.81 (Raw Index 63.33), Public Vision Decision Index — 53.57.Железо и точность: тестировалась в формате
bfloat16 на 1x NVIDIA A100-SXM4-40GB.Ограничения: при превышении лимитов (131 072 токена для текста или 1,6 Мп для изображений) модель возвращает ошибку
Unsupported без молчаливого обрезания входа.Калибровка: параметры температуры подобраны на отложенной валидационной выборке из 4 342 примеров.










Комментарии