К содержимому
Другое

d3-lite-vision-g1

быстрые решения по картинкам без генерации текста

2 мин чтения

Независимый файнтюн компактной модели vllm-sr/d3-lite (0.85B параметров, на базе Qwen3.5-0.8B) от автора LeeCN. Модель предназначена для быстрой классификации и принятия решений по тексту, изображениям и видео: вместо длинной генерации текста она за один проход (forward pass) выдаёт вероятности для заданных вариантов ответа. Веса дообучили в два этапа и объединили с исходной моделью методом WiSE-FT (интерполяция весов для сохранения базовых навыков), благодаря чему точность на публичных визуальных тестах заметно выросла. Подойдёт разработчикам для быстрой модерации контента, разбора документов, графиков и UI-интерфейсов в исследовательских задачах.

Ключевые особенности

  • Три типа вопросов в одном запросе: выбор варианта (choice), да/нет (noul) и числовая оценка (score).
  • Заметный прирост на таблицах, графиках и интерфейсах: Mind2Web вырос с 58.5% до 74.4%, KIE (CORD + FUNSD) — с 85.6% до 90.3%, InfographicVQA — с 79.5% до 84.8%.
  • Улучшенная модерация: точность на датасете Hateful Memes поднялась с 56.8% до 64.4%.
  • Полная совместимость с интерфейсом, форматом промптов и сервером d3_server.py от оригинальной d3-lite.

Что можно сделать

  • Автоматизировать проверку чеков и сканов документов в пайплайнах обработки заявок (например, проверять наличие товара и способ оплаты).
  • Встроить в систему премодерации изображений для быстрой фильтрации нежелательных мемов и визуального контента.
  • Использовать для анализа скриншотов веб-интерфейсов и инфографики в исследовательских агентах.

Пример

from transformers import AutoModel

model = AutoModel.from_pretrained("LeeCN/d3-lite-vision-g1", trust_remote_code=True)
result = model.system_one(
    state="The customer says the blender arrived cracked and attached the receipt.",
    images=["assets/example-receipt.png"],
    questions={"on_receipt": {"type": "noul", "instructions": "Does the receipt list the blender?"}},
)
ПодробнееОбщий балл Public vision index (0.3): 54.62 против 47.37 у базовой d3-lite (на 12 210 примерах, картинки до 1.6 МП).
Обучена в 2 этапа (245k текстовых и ~15.5k визуальных примеров) с замороженным vision-энкодером; веса усреднены с d3-lite (alpha 0.5).
Лицензия кода и весов — Apache-2.0, но из-за датасетов Hateful Memes и FUNSD модель выпущена строго для некоммерческих исследований и оценки.
Ограничения: слабее прирост на мульти-изображениях (BLINK, Winoground); работа с видео и текстовые метрики для этой версии не замерялись.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # LeeCN/d3-lite-vision-g1
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download LeeCN/d3-lite-vision-g1 --local-dir ~/models/d3-lite-vision-g1
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к d3-lite-vision-g1
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии d3-lite-vision-g1 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

LeeCN/d3-lite-vision-g1
Автор
LeeCN
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии