TES hot path int8
компактный мультимодальный модуль для MCU
2 мин чтенияобновлено
Это исследовательский релиз «горячего пути» (быстрого модуля) из системы Tiered Episodic Specialists для устройств класса STM32H743. Модуль сочетает стем MobileNetV2-0.5 на изображениях 160 px, хешированный текстовый ключ и блок слияния SAF; его дистиллировали без разметки из SmolVLM-256M. На выходе — предсказание по изображению и текстовому контексту; качество в карточке проверено на ScienceQA, COCO-presence и POPE. Пригодится исследователям TinyML, которым нужно запускать мультимодальные модели на MCU через TFLite Micro.
Ключевые особенности
- Полный int8-граф весит 796 800 байт на каждый seed; для TFLM указана arena 495 948 байт.
- В релизе три seed, отдельные графы stem и fusion, а также fp32-чекпоинты PyTorch.
- Эпизодные таблицы занимают по 32 КБ на контекст.
- На ScienceQA test accuracy 0.671 против 0.661 у учителя; int8 сохраняет точность fp32 — 0.657.
- На темах, которых не было в обучении, hot path близок к случайному уровню; помогает эпизод без разметки.
Что можно сделать
- Проверить int8-граф на STM32H743-классе через TFLite Micro и сравнить с оценками Renode/QEMU.
- Поэкспериментировать с fp32-чекпоинтами и эпизодными таблицами под разные контексты.
- Использовать релиз как baseline для дистилляции мультимодального модуля без разметки.
- Сравнить раздельные графы stem/fusion с полным графом по памяти и точности.
Пример
Сценарий из карточки: подать изображение 160 px и текстовый ключ, выбрать эпизодную таблицу под контекст и получить предсказание. Для нового контекста нужен эпизод без разметки — иначе на незнакомых темах качество падает почти до случайного.
Подробнее
Research release к статье «Tiered Episodic Specialists» (AAAI-27, under review).ScienceQA test acc 0.671 (учитель 0.661); COCO-presence val 0.651; POPE test 0.605 (учитель 0.720).
int8: 0.657 против 0.657 fp32, argmax agreement 0.94.
Инструкции: 164 073 092 на ответ по Renode и QEMU, без замеров на железе; int8-метрики — reference kernels на x86.
int8-графы в релизе работают с почти пустым эпизодом.










Комментарии