deskpaw-CUA-2B
клик по скриншоту за один проход
1 min readupdated
deskpaw-CUA-2B — полностью дообученная 2B vision-language модель от llstar для взаимодействия с GUI. На скриншот и инструкцию она возвращает точку клика за один прямой проход, без цепочки рассуждений и поиска на инференсе. База — Qwen3-VL-2B-Instruct (2.13B), точность bf16.
Ключевые особенности
- Полный файнтюн Qwen3-VL-2B-Instruct: обновлены все веса, это не адаптер.
- System-1: один forward pass — сразу координаты целевого клика.
- Скриншоты до ~5.9M пикселей на входе.
- Нужен кастомный prediction head: стандартные загрузчики transformers чекпоинт не загрузят.
- Обучение остановлено рано — на 20 000 из 31 848 шагов.
Пример
# Нужен кастомный код модели; это не drop-in AutoModel.
from custom_modeling import Qwen3VLForConditionalGenerationWithPointer
model = Qwen3VLForConditionalGenerationWithPointer.from_pretrained(
"deskpaw/deskpaw-CUA-2B", torch_dtype="bfloat16"
)
processor = AutoProcessor.from_pretrained("deskpaw/deskpaw-CUA-2B")
Подробнее
ScreenSpot-v2: 87.97% overall (1 272 примера); текст 95.0%, иконки 78.9%.Лучший результат — step 14 000; выпущенные веса step 20 000 не переоценивались.
Обучение остановлено на 20 000 из 31 848 шагов (~63% одной эпохи).
Нужен кастомный prediction head; кода головы в репозитории нет. Не safety-evaluated; не для автономной работы с реальными системами. Инструкции лучше на английском.










Comments