nanoGlimmer
языковая модель на 29M параметров для микроконтроллера ESP32-S3
2 min readupdated
Сверхкомпактная LLM на 28,98 млн параметров от разработчика apullin, которая сочиняет короткие детские сказки на английском языке прямо на микроконтроллере ESP32-S3. Архитектура Glimmer использует подход Per-Layer Embeddings (отдельные таблицы эмбеддингов для каждого слоя, идея из Google Gemma 3n) и скользящее окно внимания. В отличие от обычных мини-моделей, nanoGlimmer изначально обучалась с учётом квантования (QAT — quantization-aware training) в формат int4, поэтому на чипе она работает без потери точности относительно ПК. Проект пригодится embedded-разработчикам и энтузиастам Edge AI, которые хотят запускать генерацию текста на дешёвом железе с 16 МБ flash-памяти и 8 МБ PSRAM без облака.
Ключевые особенности
- Архитектура Glimmer + PLE: 8 слоёв, d_model 256, 8 query-голов на 1 KV-голову, окно внимания 64 токена в трёх из четырёх слоёв и контекст 256 токенов.
- Нативный int4 через QAT: веса и таблицы эмбеддингов обучались в 4-битном режиме группами по 128 значений, благодаря чему логиты на микроконтроллере побитово совпадают с расчётами на ПК.
- Реальная скорость на ESP32-S3: весит 15 МБ во flash-памяти (6 МБ загружается в PSRAM) и генерирует текст со скоростью 13,8 токена в секунду (72,3 мс на токен) на двух ядрах чипа.
- Открытый пайплайн воспроизведения: в репозитории есть скрипт обучения и байтовый BPE-токенизатор на 8 192 токена; модель обучалась на датасете TinyStories (около 1 млрд токенов) за 1 час 45 минут на одной H100.
Что можно сделать
- Прошить плату ESP32-S3 через фреймворк ExecuTorch и получить автономный генератор простых английских историй без интернета.
- Взять готовый скрипт
train.pyи архитектуру Glimmer для обучения собственной ультралёгкой LLM под узкую задачу или команды на микроконтроллерах. - Использовать чекпоинт как эталон для тестирования int4-экспорта и сравнения побитовой точности инференса между ПК и embedded-устройствами.
Пример
hf download apullin/nanoglimmer nanoglimmer-story.pt tokenizer.json --local-dir nanoglimmer
python story/write_story.py --checkpoint nanoglimmer/nanoglimmer-story.pt \
--tokenizer nanoglimmer/tokenizer.json
Подробнее
Метрики: validation loss 1.6115 (perplexity 5.01) на отложенной выборке TinyStories.Параметры: 28 977 664 (из них 18,87 млн в таблицах эмбеддингов и 8 млн в слоях).
Требования к железу: микроконтроллер ESP32-S3 с 16 MB flash и 8 MB PSRAM, сборка через ExecuTorch и ESP-IDF 5.5.5.
Ограничения: генерирует только короткие сказки на простом английском языке, длина контекста — 256 токенов.
Лицензия: BSD 3-Clause на веса и токенизатор, MIT на код обучения.










Comments