deskpaw-CUA-2B

deskpaw-CUA-2B — полностью дообученная 2B vision-language модель от llstar для взаимодействия с GUI. На скриншот и инструкцию она возвращает точку клика за один прямой проход, без цепочки рассуждений и поиска на инференсе. База — Qwen3-VL-2B-Instruct (2.13B), точность bf16.

🔤 Ключевые особенности

• ▶ Полный файнтюн Qwen3-VL-2B-Instruct: обновлены все веса, это не адаптер.
• 🔤 System-1: один forward pass — сразу координаты целевого клика.
• ➕ Скриншоты до ~5.9M пикселей на входе.
• ➖ Нужен кастомный prediction head: стандартные загрузчики transformers чекпоинт не загрузят.
• ✖ Обучение остановлено рано — на 20 000 из 31 848 шагов.

▶ Пример

# Нужен кастомный код модели; это не drop-in AutoModel.
from custom_modeling import Qwen3VLForConditionalGenerationWithPointer

model = Qwen3VLForConditionalGenerationWithPointer.from_pretrained(
    "deskpaw/deskpaw-CUA-2B", torch_dtype="bfloat16"
)
processor = AutoProcessor.from_pretrained("deskpaw/deskpaw-CUA-2B")

Подробнее

ScreenSpot-v2: 87.97% overall (1 272 примера); текст 95.0%, иконки 78.9%.
Лучший результат — step 14 000; выпущенные веса step 20 000 не переоценивались.
Обучение остановлено на 20 000 из 31 848 шагов (~63% одной эпохи).
Нужен кастомный prediction head; кода головы в репозитории нет. Не safety-evaluated; не для автономной работы с реальными системами. Инструкции лучше на английском.