Mage Hand

Файнтюн microsoft/Mage-VL-Cowork от Jordan Newman / angelX для computer use: по скриншоту и описанию цели модель возвращает точку клика. Около 4,74 млрд параметров, текстовая основа — Qwen3-4B-Instruct-2507; LoRA-адаптер уже слит с базой.

👀 Ключевые особенности

• 👉 GUI-grounding: один клик по цели на скриншоте, без type/scroll/drag.
• 👀 Обучение на данных angelX hands: 1 195 шагов, 9 557 примеров (~0,8 эпохи), mean loss 0.0689.
• 💪 Слитый LoRA: r=64, alpha=128, scale 2.0; заменены 252 linear-слоя языковой модели и merger-тензоры.
• ✊ Оценка на 1 258 holdout-строках: target-box hit 94,99%, within ±15 — 94,12%, parsed 100%.
• 😐 Работает с кадрами до 1920×1080; в angelX клик проходит через подтверждение человеком, ошибочный ответ отклоняется.

👉 Пример

Сценарий из карточки: на вход — скриншот до 1920×1080 и описание цели (например, кнопка покупки), на выходе — одна точка клика. В angelX модель только указывает, а клик подтверждает человек; битый или выходящий за кадр ответ отклоняется.

Подробнее

Бенчмарк: hands v2 — 94,99% target-box hit и 94,12% within ±15; v1 — 88,08% и 78,70%.
Повтор на RTX 4080: 95,15% box / 93,96% ±15.
Ограничения: holdout ~74% скриптовый/синтетический, native-desktop — всего 12 строк; модель обучена только на клики и не выполняет type/scroll/drag. Offline-точность не равна завершению задачи вживую.