Qwen2.5-VL-3B-Instruct UNCENSORED
VLM без отказов
2 min readupdated
Это uncensored-вариант Qwen2.5-VL-3B-Instruct — компактной vision-language модели на 3 млрд параметров, которая принимает изображения, видео и текст. Автор применил ARA (Arbitrary-Rank Ablation — абляцию рангов), чтобы уменьшить число отказов: по карточке, с 99/100 у базовой модели до 3/100. KL divergence при этом составляет 0.3007. Модель сохраняет базовые умения: разбирать документы, таблицы и графики, находить объекты на изображении, понимать длинные видео и выдавать структурированный JSON. Пригодится для локальных экспериментов с VLM, визуальных агентов и разбора скриншотов, где не нужны постоянные отказы.
Ключевые особенности
- Отказов 3/100 против 99/100 у Qwen2.5-VL-3B-Instruct.
- Понимает изображения, графики, документы и видео длиной более часа — по описанию базовой модели.
- Может выступать визуальным агентом: computer use, phone use и координаты объектов.
- Поддерживает структурированный вывод для счетов, форм и таблиц.
- В карточке язык указан как en; это не отдельная адаптация под русский.
Что можно сделать
- Собирать данные из сканов счетов, форм и таблиц в JSON для учёта или финансовых пайплайнов.
- Прототипировать визуального агента, который находит элементы интерфейса и возвращает их координаты.
- Искать нужные события в длинных видео по текстовому описанию.
- Использовать как локальную uncensored-базу для экспериментов с изображениями и видео через transformers.
Пример
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
"Qwen/Qwen2.5-VL-3B-Instruct",
torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct")
# messages: image + text; далее processor.apply_chat_template(...)
Подробнее
Отказы: 3/100 против 99/100 у базы. KL divergence: 0.3007.ARA: слои 14–31, preserve_good_behavior_weight 0.8194, steer_bad_behavior_weight 0.3634, neighbor_count 9.
Нужен свежий transformers: в карточке советуют сборку из GitHub и qwen-vl-utils[decord]==0.0.8.
VRAM не указана; язык в метаданных — en.










Comments