laya-cua
компактный роутер для компьютерных агентов
2 мин чтенияобновлено
Модель laya-cua размером 421M создана для управления интерфейсами и работы в составе систем компьютерных агентов (Computer-Use Agents). Основанная на базе ModernBERT-large, она получает на вход текстовое описание экрана, историю последних шагов и задачу, после чего определяет следующий тип действия и оценивает вероятность завершения работы. Модель не генерирует текст для ввода и координаты кликов, а служит быстрым классификатором для принятия решений. Разработка пригодится разработчикам автономных агентов и исследователям интерфейсов автоматизации.
Ключевые особенности
- Точность классификации: достигает 80.8% точности в определении типа действия на тестовом датасете.
- Компактный размер: весит всего 421M параметров и работает на стандартном железе.
- Текстовый вход: обрабатывает текстовые описания экрана вместо тяжелых скриншотов.
- Быстрый проход: определяет тип действия и статус задачи за один прямой проход (forward pass).
Что можно сделать
- Интеграция в агентов: использовать как быстрый роутер рядом с языковой моделью для выбора следующего действия.
- Проверка статуса: оценивать вероятность завершения текущей задачи на экране.
Пример
import laya
from huggingface_hub import snapshot_download
ACTIONS = {
"click": "click or tap a UI element", "type": "type text into a focused field",
"key": "press a key or shortcut", "scroll": "scroll the view",
"navigate": "open a URL or switch app or tab", "move": "move the mouse without clicking (hover)",
"wait": "wait for the page or app to load", "drag": "drag and drop or select by dragging",
"done": "the task is already complete, stop",
}
QUESTIONS = {
"action_type": {"type": "choice", "instructions": "Which action type should the agent take next?", "criteria": ACTIONS},
"task_done": {"type": "noul", "instructions": "Is the task already fully complete on screen?"},
}
agent = laya.Agent(snapshot_download("sodan/laya-cua"), device="cuda")
state = {"task": "Open the settings app and turn on dark mode",
"screen": "Settings window. Sidebar: Network, Display, Sound. Display page shows Theme: Light.",
"history": ["opened Settings"]}
res = agent.predict(state, QUESTIONS)
print(res["answers"]["action_type"]["choice"], res["answers"]["task_done"]["noul"])
Подробнее
Бенчмарки: action_type accuracy 0.8084, task_done accuracy 0.9611.Ограничения: обучена на текстовых описаниях AgentNet (в основном десктопные задачи Ubuntu), поведение на мобильных интерфейсах не тестировалось.
Базовая модель: convaiinnovations/laya (ModernBERT-large encoder).










Комментарии