Mage-VL-Cowork

Microsoft Mage Team представила Mage-VL-Cowork — компактную 4B vision-language policy для hybrid computer-use. Один чекпоинт объединяет работу через скриншоты и GUI (computer_use) с выполнением кода и команд в терминале (bash), без внешнего оркестратора. Архитектура llava_onevision2: Mage-ViT + Qwen3-4B.

⚙ Ключевые особенности

• 🦾 Два канала в одной модели: turn-level routing между GUI и терминалом — для визуальных задач и структурированных правок файлов.
• ⚡ 66.0% на OSWorld-Verified при бюджете 50 шагов — лучший результат среди 4B-моделей; 87.5% на OS-задачах и 62.7% на multi-application workflows.
• 🧩 Пятиэтапный curriculum: сначала отдельные навыки GUI и кода, затем Hybrid SFT и online RL; прирост +20.44 п.п. по сравнению со стартовым чекпоинтом.
• 🪙 Mage-CUA-Forge: синтез 293 806 задач по 6 915 atomic skills; повторяющаяся стоимость генерации снижена на 82.6%.
• 🎯 Асимметричная память: 3 последних скриншота, 4 полных ответа и свёрнутая история Action:; контекст 32 768 токенов.

💡 Пример

Сценарий из карточки: «В таблице на рабочем столе пересчитай столбец и проверь итог». Агент открывает файл через GUI, для массовых правок переключается на bash с pandas/openpyxl, а затем возвращается к экрану для визуальной проверки результата.

Подробнее

OSWorld-Verified: 66.0% (среднее двух прогонов; 65.33% и 66.75%).
Online GRPO даёт +10.16 п.п. к Hybrid SFT и сокращает число вызовов модели на 13.0%, output tokens — на 25.4%.
Веса: 4B, 9.48 ГБ в bfloat16 в двух safetensors shards; язык — английский; лицензия Apache-2.0.