CoCo-Decision-Vision-0.8B
быстрая оценка изображений без генерации текста
2 мин чтенияобновлено
Независимый файнтюн (дообученная версия) компактной модели vllm-sr/d3-lite размером 0.85B параметров от команды corners-ai, созданный для принятия решений по изображениям. Модель принимает текстовое или JSON-описание ситуации вместе с картинками или видео и возвращает вероятности для заданных вопросов за один прямой проход (forward pass), не тратя время на генерацию текста. По сравнению с базовой d3-lite (построенной на Qwen3.5-0.8B) новинка заметно прибавила в точности на визуальных тестах — особенно в разборе чеков, графиков, инфографики, интерфейсов и модерации контента. Подойдёт разработчикам, которым нужен лёгкий и предсказуемый классификатор или роутер для мультимодальных пайплайнов.
Ключевые особенности
- Работает без генерации токенов: поддерживает типизированные вопросы форматов
choice(выбор из вариантов),noul(да/нет) иscore(оценка). - Полностью совместима с интерфейсом, форматом промптов и инференс-сервером
d3_server.pyоригинальнойd3-lite. - Обучена в два этапа (текст и изображения) с замороженным визуальным энкодером и последующей интерполяцией весов с базовой моделью (WiSE-FT, alpha 0.5).
- Сильный прирост на структурированной графике и документах: например, на Mind2Web точность выросла с 58.5% до 74.4%, а на KIE (CORD + FUNSD) — с 85.6% до 90.3%.
Что можно сделать
- Автоматизировать проверку пользовательских обращений в техподдержке: одновременно проверять наличие товара в приложенном чеке и определять способ оплаты.
- Использовать в пайплайнах модерации визуального контента и мемов с быстрой выдачей вероятности нарушений.
- Подключать как лёгкий классификатор для извлечения данных из графиков, инфографики и веб-интерфейсов в агентских системах.
Пример
from transformers import AutoModel
model = AutoModel.from_pretrained("corners-ai/CoCo-Decision-Vision-0.8B", trust_remote_code=True)
result = model.system_one(
state="The customer says the blender arrived cracked and attached the receipt.",
images=["assets/example-receipt.png"],
questions={"on_receipt": {"type": "noul", "instructions": "Does the receipt list the blender?"}}
)
Подробнее
Метрики: общий результат на локальном прогоне Public vision index (0.3) вырос с 47.37% до 54.62%; CharXiv — с 65.4% до 70.7%, Moderation (Hateful Memes) — с 56.8% до 64.4%.Обучение: 245k текстовых примеров (model soup из двух сидов) + 15.5k визуальных вопросов из ChartQA, CORD v2, FUNSD, Hateful Memes, InfographicVQA, Multimodal-Mind2Web и COCO 2017.
Лицензия и ограничения: код и веса под Apache-2.0, но из-за лицензий датасетов FUNSD и Hateful Memes модель выпущена только для некоммерческих исследований и оценки; текстовые бенчмарки и видео в этой версии не замерялись.










Комментарии