EcoSLM-WebDM
быстрый мини-трансформер для веб-навигации
2 мин чтенияобновлено
Компактная нейросеть на 10,83 млн параметров для локального управления браузером: модель анализирует цель пользователя, текст на странице и список интерактивных DOM-элементов (кнопок, полей ввода, списков), а затем за один проход предсказывает нужное действие и целевой элемент. Она обучена методом дистилляции (переноса знаний от крупной модели-учителя к компактному ученику) на вероятностных распределениях модели TypeSafe Jev (jev-latest) и построена на архитектуре Cross-Element Pointer Transformer. Главное отличие от обращения к крупной облачной модели-учителю — локальная работа на CPU с задержкой 18,57 мс вместо 276,01 мс по API при сохранении высокой согласованности предсказаний. Подойдёт разработчикам автономных веб-агентов и инструментов браузерной автоматизации, которым нужна быстрая предварительная оценка действий на устройстве.
Ключевые особенности
- Предсказание действия и цели за один проход: модель одновременно выбирает операцию (
CLICK,TYPE_TEXT,SELECT,SCROLL_UP,SCROLL_DOWN,WAIT,DONE,BLOCKED) и оценивает до 250 интерактивных DOM-элементов на странице. - Сверхнизкая задержка на CPU: медианное время инференса составляет 18,57 мс против 276,01 мс у модели-учителя TypeSafe Jev через API.
- Архитектура с перекрёстным вниманием: сочетает 4-слойный Context Encoder для цели, URL, истории и текста страницы с 2-слойным Element Encoder и 2-слойным декодером Cross-Attention.
- Калибровка уверенности: использует пост-тренировочное масштабирование температуры (
op_temp_scalerиtarget_temp_scaler) для передачи управления более крупной модели при низкой уверенности.
Что можно сделать
- Встроить в локального браузерного агента для быстрого выбора кликов, ввода текста и прокрутки страниц без обращения к облачному API на каждом шаге.
- Использовать в гибридной схеме speculative fan-out и confidence-gated fallback: модель мгновенно предлагает топ-3 подходящих DOM-элемента на CPU, а к крупной модели обращается только в спорных случаях.
Пример
На вход модель получает текущую цель, заголовок и URL страницы, историю действий, видимый текст и список до 250 DOM-элементов, а на выходе за один проход возвращает тип операции (например, CLICK или TYPE_TEXT) вместе с оценками вероятности для каждого совместимого интерактивного элемента.
Подробнее
Параметры: 10 830 085, обучение на 80 примерах и валидация на 35.Согласованность с учителем: Operation Top-1 — 80,00%, Target Top-1 — 83,08%, Target Top-3 — 100,00%, Calibrated Operation ECE — 0,0964.
Скорость: медианная задержка на CPU 18,57 мс (против 276,01 мс у Jev API).
Требования к VRAM и лицензия в карточке не указаны.










Комментарии