VML (Visual ML) v2.0.0
офлайн-распознавание элементов Mobile Legends
2 мин чтенияобновлено
VML (Visual ML) — это полностью автономная модель компьютерного зрения для распознавания визуальных ассетов из игры Mobile Legends: Bang Bang (MLBB). На вход она принимает изображение размером 224×224 пикселя, а на выходе одновременно выдаёт векторное представление (эмбеддинг) и классифицирует объект по двум уровням детализации: от общих категорий до конкретного скина или предмета. Модель построена на лёгкой архитектуре ConvNeXt-Tiny и дистиллирована (обучена с уменьшением размера без сильной потери качества) из более тяжёлого учителя vit_base_patch16_siglip_224 от автора sansaks. В отличие от обычных классификаторов, релиз поставляется сразу с готовой базой эталонных векторов для быстрого поиска по совпадению, что удобно для анализа стримов и турнирных трансляций.
Ключевые особенности
- Двухуровневая классификация: определяет 282 общие категории (герои, предметы, заклинания, эмблемы, таланты, навыки, UI) и 2 794 точных класса, включая конкретные скины для 134 героев.
- Встроенный поиск по базе: вместе с весами идут 4 677 готовых 768-мерных нормализованных эмбеддингов (
hero_skin_db.npz) и JSON-файлы с маппингом меток. - Формат ONNX и работа офлайн: модель
hero_skin_student.onnxне требует подключения к интернету и легко запускается через стандартный ONNX Runtime. - Устойчивость к артефактам трансляций: протестирована на синтетических турнирных кадрах с размытием OBS, сжатием JPEG, перекрытием текста ников (IGN) и круглой обрезкой иконок.
Что можно сделать
- Создать оверлей или аналитический парсер для автоматического считывания пиков, банов, сборок предметов и выбранных скинов прямо со стримов и записей турниров MLBB.
- Встроить поиск по визуальному сходству (через 768-мерные эмбеддинги) в фанатские базы знаний, вики или Telegram-ботов для определения элемента игры по обрезанному скриншоту.
Пример
Модель принимает тензор pixel_values с формой [B, 3, 224, 224] и возвращает три выхода: embedding (вектор [B, 768] для поиска по базе hero_skin_db.npz), coarse_logits ([B, 282] для базовой категории, например Skill | ) и fine_logits ([B, 2794] для точного класса вроде | skin_XX).
Подробнее
Точность на стресс-тесте (200 синтетических кадров турнирных трансляций): Coarse Top-1 — 99.0%, Fine Top-1 — 93.0%, поиск по базе (768-d DB Retrieval) Top-1 — 99.5% и Top-5 — 100.0%.Обучающая выборка: 4 677 стандартизированных PNG-ассетов (134 героя, иконки, портреты, скины, навыки, предметы, заклинания, эмблемы, таланты и элементы интерфейса).
В комплекте: файлы
hero_skin_student.onnx, hero_skin_student.onnx.data, база векторов hero_skin_db.npz и словари меток в JSON.







Комментарии