DMA-2B
быстрая модель для управления Android без генерации текста
2 min readupdated
DMA-2B (Decision Model for Android) решает задачу выбора следующего действия для GUI-агентов в среде Android. В отличие от обычных VLM (визуально-языковых моделей), которые посимвольно пишут команду в виде текста, она работает за один прямой проход (forward pass) с нулём сгенерированных токенов: модель принимает скриншот и список элементов интерфейса, после чего оценивает вероятности готовых вариантов ответа. Это полный файнтюн (дообучение всех весов) модели LiquidAI/d1-2B на 1.92 млрд параметров от разработчика tuanhqv123. Такой подход избавляет от ошибок парсинга и ускоряет работу агента, поэтому модель пригодится исследователям и разработчикам автономных мобильных ассистентов.
Ключевые особенности
- Высокая скорость: медианное время принятия решения составляет 135 мс (181 мс на 95-м перцентиле) при запуске на одной GPU с 24 ГБ видеопамяти по HTTP.
- Без парсинга вывода: модель выбирает ответ строго из переданного списка вариантов, поэтому на выходе всегда получается валидный
JSONActionдля среды AndroidWorld. - Оценка уверенности: каждое решение сопровождается вероятностью; на тесте AndroidControl-High отсев половины наименее уверенных шагов снижает долю ошибок с 38.3% до 19.0% (AUROC 0.758).
- Гибридный ввод: помимо скриншота шириной 720 px, модель анализирует дерево элементов доступности (accessibility tree), историю последних 12 шагов и список доступных приложений.
Что можно сделать
- Собрать быстрого агента для AndroidWorld: автоматизировать выполнение задач в симуляторе Android, используя встроенное декодирование координат центра выбранного элемента.
- Внедрить гибридный контроль с человеком: использовать вероятность предсказания как сигнал ранжирования, чтобы агент сам выполнял уверенные клики и запрашивал подтверждение на спорных шагах.
- Протестировать на готовых сценариях: запустить демонстрационный скрипт
example.pyна записанных шагах или изучить работу модели в интерактивном Space на Hugging Face.
Пример
import torch
from transformers import AutoModel
import ac_common as v
from example import load_image, decode
model = AutoModel.from_pretrained(".", trust_remote_code=True, dtype=torch.bfloat16).cuda().eval()
state, kept, keep_idx = v.element_inputs_v3(goal, history, elements, W, H, "all_reading_noime")
questions = v.build_questions("VA", kept, contract="v4", apps=apps)
ans = model.system_one_batch([(state, questions, [load_image("screen.png")])])[0]["answers"]
Подробнее
• Бенчмарк AndroidControl: успешность шага (SR) выросла по сравнению с базовойd1-2B с 59.8% до 89.3% на AC-Low (пошаговые инструкции) и с 40.2% до 61.7% на AC-High (только общая цель).• Обучение: 1 эпоха (2482 шага × 16 примеров) на 37 977 решениях из AndroidControl и 1 736 примерах из AndroidWorld на одной RTX 5090.
• Ограничения: требует список элементов доступности (не работает только по пикселям), вводит только текст из входных данных и склонна преждевременно завершать задачу статусом
done.• Лицензия: LFM Open License v1.0 (коммерческое использование запрещено для компаний с годовой выручкой от $10 млн).










Comments