GAR-Lite-2B
компактная мультимодальная модель для работы с регионами изображений
2 мин чтенияобновлено
Модель GAR-Lite-2B представляет собой официальный стандартный чекпоинт из проекта Grasp Any Region v2: Generalist Multimodal Region Experts at Scale. Архитектурно она основана на немодифицированной базовой модели Qwen3.5-2B и получена с помощью двухэтапной дистилляции (OPD). Модель специализируется на мультимодальных задачах image-text-to-text, позволяя эффективно обрабатывать конкретные области изображений и текстовые описания. Она пригодится разработчикам и исследователям, которым нужна легковесная языково-визуальная модель с поддержкой стандартных библиотек вроде Transformers и vLLM.
Ключевые особенности
- Базируется на немодифицированной архитектуре
Qwen3.5-2B(Qwen3_5ForConditionalGeneration). - Обучена методом двухэтапной дистилляции (OPD — on-policy distillation) с использованием двух учителей из GAR-v2.
- Полная совместимость со стандартной библиотекой Hugging Face Transformers без необходимости в кастомном коде.
- Нативная поддержка в популярном движке vLLM без использования дополнительных плагинов.
Что можно сделать
- Запустить инференс для детального описания или анализа конкретных областей (bounding boxes) на изображениях.
- Интегрировать модель в Python-скрипты с использованием стандартного процессора и класса
AutoModelForImageTextToText. - Использовать автономный CLI-скрипт для быстрого тестирования мультимодальных возможностей модели по координатам рамок.
- Развернуть модель в инференс-сервере на базе vLLM для эффективной обработки запросов.
Пример
Запуск модели с помощью стандартной библиотеки Hugging Face Transformers:
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
processor = AutoProcessor.from_pretrained("laolida-w/GAR-Lite-2B")
model = AutoModelForImageTextToText.from_pretrained(
"laolida-w/GAR-Lite-2B",
torch_dtype=torch.bfloat16,
device_map="auto",
).eval()Подробнее
Размер модели: 2.72 млрд параметров (2.72B).Архитектура: дистиллированная Qwen3_5ForConditionalGeneration.
Особенности запуска: поддержка
torch.bfloat16 и автоматического распределения по устройствам (device_map).









Комментарии