JEV-27B-VL

JEV-27B-VL — vision-language модель на базе Qwen3.8-27B, представленная в карточке как autotrust/JEV-27B-VL. Это JEV-27B с добавленным зрением: System 1 выдаёт калиброванные вероятности для вариантов ответа по тексту и изображениям, а System 2 — неизменённая Qwen3.8-27B с опциональным reasoning. Размер — 27,78 млрд параметров, задача — image-text-to-text.

💡 Ключевые особенности

• ⚡ System 1: типизированные решения yes/no, выбор из 2–256 вариантов и оценка 0–5 по тексту и изображениям; промпты до 256K токенов.
• 📊 На Jev Decision Index Vision board модель занимает 1-е место из 20 vision decision моделей: Full score 69,82, public benchmarks 72,78, private tests 66,86.
• 🖥 Выше стоковой Qwen3.5-397B-A17B на +6,4 Full-score пункта при примерно 15× меньшем общем числе параметров.
• 👀 Vision-энкодер Qwen3.8-27B не меняли, а адаптер и decision head обучали только на тексте — все решения по изображениям zero-shot.
• 🎮 ERQA 61,5% с thinking (medium) — лучший открытый результат в таблице карточки, на уровне Claude Opus 5; без thinking — 53,8%.
• ⚙ Калибровка ECE 0,019 на 13 695 строках; около 264 мс на строку на RTX PRO 6000.

🖥 Пример

В роботе-манипуляторе System 1 на каждом шаге смотрит на изображение с верхней камеры и отвечает на два вопроса: цель слева или справа от захвата и выше или ниже. По этим решениям рука движется, захватывает куб и кладёт его в лоток. В 20 случайных сценах модель завершила 75%, все 15 захваченных кубов дошли до лотка; около 239 мс на решение.

Подробнее

ERQA: 61,5% с thinking (medium), 60,0% (low), 53,8% без thinking; 95% интервал — около ±5 пунктов.
Jev Decision Index Vision: 1-е место, 77,8% accuracy на 13 695 строках, ECE 0,019.
Сервер: serve.sh на vLLM + POST /v1/decide; около 264 мс на строку и 1,41 GPU-часа на весь борд.
Ограничения: для computer use нужен текст элементов; только по нумерованным боксам — 10% задач. Прямой выбор из 8 моторных команд — 0 из 10 сцен.