Platonic-Engram-HNet-v2

Platonic-Engram-HNet-v2 от bobzhou0 — компактная система для e-reader на ESP32-S3 с 8 МБ PSRAM. Она объединяет определение смысла английского или китайского слова в предложении, пересказ персонажей без спойлеров и короткие заметки на полях без выдуманных имён. Модели дистиллированы из Qwen3-32B на H200 и упакованы в bit-exact int8 C11/C++20 прошивку; вся система занимает 1,13 МБ RAM.

🔥 Ключевые особенности

• 👀 Разделение вычислений и словаря: 96,8 КБ RAM против 550 КБ у BPE-модели — в 5,7 раза меньше; значения слов лежат в хеш-таблице на 4,2 МБ на SD-карте.
• 🤫 Память персонажей с жёсткой причинностью: 0,00% спойлеров на 9 169 вопросах BookSum и 99,46% точности порядка сцен.
• 💪 Генерация заметок по клаузам: 0,00% оборванных предложений и 0,0% выдуманных имён на 4 226 публичных тестах.
• 👉 Бит-точное совпадение PyTorch QAT → NumPy → C11 → C++20: 0 расхождений на 38 580 строках бенчмарка и 1 067 тестах прошивки; медиана запроса на C — 6,0 мс на Apple M1.
• 💸 После загрузки всех моделей на устройстве остаётся 5,64 МБ свободной PSRAM.

👉 Пример

import plhn_model as M

enc = M.PlhnIntNp(open('weights/platonic-hnet.bin', 'rb').read(),
                  open('weights/engram.bin', 'rb').read())
a = enc.forward('The river bank was flooded after the storm.')
b = enc.forward('河岸在暴风雨后被淹没了。')
cos = sum(x * y for x, y in zip(a, b)) / (127 * 127)

Подробнее

Бенчмарки: +7,2 / +9,5 / +6,0 F1 над BPE на трёх китайских задачах сегментации; 5 побед, 6 ничьих и 1 поражение на 12 публичных sentence tasks.
Ограничения: это не general-purpose серверная embedding-модель — роутер режет китайские сочетания из 5+ символов, проигрывает моделям на 200+ МБ и часто keyword search на whole-sentence matching; метрики в model-index помечены verified: false.
Входы длиннее 256 байт нужно разбивать на окна до 256 байт и суммировать векторы с повторной нормализацией через M.l2_int8.
Обучение: дистилляция из Qwen3-32B на H200, 14 контролируемых ablation-экспериментов; приватный корпус из 105 363 документов, бенчмарки не использовались для обучения.