d3-lite-vision-g1
быстрые решения по картинкам без генерации текста
2 min read
Независимый файнтюн компактной модели vllm-sr/d3-lite (0.85B параметров, на базе Qwen3.5-0.8B) от автора LeeCN. Модель предназначена для быстрой классификации и принятия решений по тексту, изображениям и видео: вместо длинной генерации текста она за один проход (forward pass) выдаёт вероятности для заданных вариантов ответа. Веса дообучили в два этапа и объединили с исходной моделью методом WiSE-FT (интерполяция весов для сохранения базовых навыков), благодаря чему точность на публичных визуальных тестах заметно выросла. Подойдёт разработчикам для быстрой модерации контента, разбора документов, графиков и UI-интерфейсов в исследовательских задачах.
Ключевые особенности
- Три типа вопросов в одном запросе: выбор варианта (
choice), да/нет (noul) и числовая оценка (score). - Заметный прирост на таблицах, графиках и интерфейсах: Mind2Web вырос с 58.5% до 74.4%, KIE (CORD + FUNSD) — с 85.6% до 90.3%, InfographicVQA — с 79.5% до 84.8%.
- Улучшенная модерация: точность на датасете Hateful Memes поднялась с 56.8% до 64.4%.
- Полная совместимость с интерфейсом, форматом промптов и сервером
d3_server.pyот оригинальной d3-lite.
Что можно сделать
- Автоматизировать проверку чеков и сканов документов в пайплайнах обработки заявок (например, проверять наличие товара и способ оплаты).
- Встроить в систему премодерации изображений для быстрой фильтрации нежелательных мемов и визуального контента.
- Использовать для анализа скриншотов веб-интерфейсов и инфографики в исследовательских агентах.
Пример
from transformers import AutoModel
model = AutoModel.from_pretrained("LeeCN/d3-lite-vision-g1", trust_remote_code=True)
result = model.system_one(
state="The customer says the blender arrived cracked and attached the receipt.",
images=["assets/example-receipt.png"],
questions={"on_receipt": {"type": "noul", "instructions": "Does the receipt list the blender?"}},
)
Подробнее
Общий балл Public vision index (0.3): 54.62 против 47.37 у базовой d3-lite (на 12 210 примерах, картинки до 1.6 МП).Обучена в 2 этапа (245k текстовых и ~15.5k визуальных примеров) с замороженным vision-энкодером; веса усреднены с d3-lite (alpha 0.5).
Лицензия кода и весов — Apache-2.0, но из-за датасетов Hateful Memes и FUNSD модель выпущена строго для некоммерческих исследований и оценки.
Ограничения: слабее прирост на мульти-изображениях (BLINK, Winoground); работа с видео и текстовые метрики для этой версии не замерялись.










Comments