MLBB Hero Vision
офлайн-распознавание героев Mobile Legends на турнирных трансляциях
2 мин чтенияобновлено
Компактная модель компьютерного зрения от автора sansaks для автоматического определения героев игры Mobile Legends: Bang Bang (MLBB) по обрезкам экрана с турнира — со стадий драфт-пика, банов или игрового интерфейса (HUD). В основе лежит архитектура ConvNeXt-Tiny, обученная методом дистилляции (переноса знаний от крупной модели к компактной) на эмбеддингах Google gemini-embedding-2. В отличие от обычных алгоритмов сравнения картинок, нейросеть устойчива к наложениям турнирного интерфейса: иконкам боевых заклинаний, флагам стран, никам игроков, цветным градиентам команд и сжатию стрима. Модель весит всего 114 МБ, работает полностью офлайн на обычном ноутбучном CPU без видеокарты и внешних API, выдавая название героя из 135 доступных классов или отметку пустого слота (EMPTY_OR_UNKNOWN).
Ключевые особенности
- Обучение на симуляции турнирного HUD: при тренировке модель прогоняли через синтетические наложения с круговыми рамками банов, градиентами синей и красной команд, размытием и артефактами JPEG.
- Полный охват ростера: распознаёт 135 героев (с учётом портретов, иконок, баннеров и скинов), а также определяет заблокированные или пустые ячейки драфта.
- Высокая скорость на CPU: в формате FP32 ONNX обработка одного слота занимает ~48–66 мс на процессоре уровня AMD Ryzen 5 6600H без использования GPU.
- Встроенный индекс поиска: вместе с весами поставляется база векторов (
hero_student_db.npzна 1 725 эталонных изображений размером 768 измерений).
Что можно сделать
- Автоматизировать сбор статистики турниров: парсить стадии пиков и банов со стримов MLBB в реальном времени для аналитических таблиц или трансляций.
- Встроить в оверлеи и ботов: использовать в локальных приложениях для комментаторов, Discord-ботах или веб-инструментах без затрат на облачные API.
Пример
from mlbb_hero_vision import HeroVision
vision = HeroVision() # автоматически скачивает веса
print(vision.predict("cropped_slot.png"))
Подробнее
Точность: 100% Top-1 на стресс-тестах с наложениями синей и красной команд (60/60) и на сложном турнирном наборе Kaggle (200 примеров); 89,68% уверенности на реальном кадре трансляции.Формат и вес:
hero_student.onnx (FP32, opset 17, 114,16 МБ) + индекс hero_student_db.npz (2,41 МБ).Железо: инференс работает на CPU через
onnxruntime (GPU не требуется); обучение проводилось на Kaggle Tesla T4 за 917,5 с (18 эпох).









Комментарии