esp32-tiny-coding-model
нейросеть на 3M параметров для рисования на ESP32-S3
2 мин чтенияобновлено
Компактная языковая модель, которая работает полностью автономно прямо на микроконтроллере ESP32-S3 без интернета и внешнего сервера. Вы отправляете на плату запрос на английском языке, а нейросеть пишет небольшую программу на Python-подобном языке для вывода графики и анимации на экран 128×64. Встроенный на чипе интерпретатор сразу же исполняет этот код с ограничениями по шагам и времени ожидания, чтобы устройство оставалось под контролем. Модель пригодится энтузиастам DIY, разработчикам встроенных систем и тем, кто экспериментирует с Edge AI (запуском нейросетей на микроконтроллерах).
Ключевые особенности
- Сверхкомпактный размер: 2.9M основных параметров и 0.8M в таблице поиска (Per-Layer Embeddings), всего 2.1 МБ при 4-битном квантовании.
- Генерация кода на простом языке с поддержкой примитивов (
pixel,line,rect,circle,text), циклов и условий. - Высокая точность на целевых задачах: 98% отложенных запросов отрисовывают картинку, идентичную эталонной.
- Полностью локальная работа на чипе со скоростью около 9 токенов в секунду (запрос «draw a house» выполняется за 5.6 секунды).
Что можно сделать
- Выводить простую статичную графику и иконки на OLED-дисплей по текстовым командам через серийный порт.
- Создавать текстовые поздравления и таймеры с обратным отсчётом прямо на плате без перепрошивки.
- Генерировать простую покадровую анимацию вроде прыгающего мяча с помощью встроенных циклов и команды
wait.
Пример
pip install esptool
esptool --chip esp32s3 --port /dev/ttyACM0 write-flash 0x0 esp32-oled-full.binПосле прошивки откройте порт на скорости 115200 бод и отправьте запрос, например: draw a house, countdown from 5 then happy birthday или bounce a ball twice quickly.
Подробнее
Железо: плата ESP32-S3 с 16 МБ Flash и 8 МБ PSRAM (octal), дисплей 128×64 SSD1306 I2C (SDA = GPIO 18, SCL = GPIO 8).Обучение: около 300 000 пар «запрос — программа», сгенерированных по правилам и проверенных эталонным интерпретатором.
Токенизатор: byte-level BPE на 1 079 токенов.
Ограничения: понимает только запросы на английском языке, близкие к стилю обучающей выборки.










Комментарии