Lexnet

Lexnet от alpindale — небольшая нейросеть, которая размечает каждый байт C-кода классом для подсветки синтаксиса. Это двунаправленная рекуррентная сеть с 984 ненулевыми параметрами и ещё 9 566 плотными параметрами для удобного матричного умножения. Веса полностью сгенерированы Anthropic Claude Fable 5.1, без обучения на данных и без training compute.

👀 Ключевые особенности

• 👉 Побайтовая токен-классификация C-исходников: на вход ASCII-байты, на выход один class id на байт.
• 💪 Всего 984 ненулевых параметра; ещё 9 566 плотных — в основном для выравнивания матриц.
• 🐙 Двунаправленная рекуррентная архитектура: 18 units forward, 7 backward, 6 forward layers, 2 backward layers и линейная голова.
• 💸 Веса сгенерированы Claude Fable 5.1; обучение на данных не проводилось.
• 🔥 Реализация на C с компилируемым ядром; в замерах быстрее Pygments CLexer и tree-sitter-c с highlight query.

😏 Пример

cc -O3 -march=native -o lexnet lexnet.c -lm
./lexnet -w lexnet_weights.bin lexnet.c

Подробнее

Скорость на корпусе 188 KB, Apple M4 Pro: компилированное ядро Lexnet — 88 ns/char (11 326 K chars/s), tree-sitter-c parse + highlight — 100 ns/char, Pygments CLexer — 447 ns/char.
Точность — float64; байты ≥128 отображаются в нулевую строку.
Ограничение: модель заточена под C и не обучалась на данных — это эксперимент с весами от LLM, а не универсальный highlighter.
Требования к VRAM не указаны: модель крошечная и запускается как C-программа.