PhysLM fly-4k
языковая модель на аналоговой динамике
2 min readupdated
PhysLM fly-4k — исследовательская character-level LM от thekoshkin на 4 000 рекуррентных юнитов (4,02 млн параметров). Обучена на TinyStories; рекуррентное ядро ограничено операциями, у которых есть прямой аналог в аналоговых схемах: взвешенные суммы, tanh, сигмоидный гейт, произведение и leaky integration с фиксированными константами. Это float32-симуляция, не аппаратная реализация; для приложений модель не предназначена.
Ключевые особенности
- 4 000 юнитов в 80 модулях по 50; у каждого юнита 400 рекуррентных входов, стоимость шага растёт линейно с числом юнитов.
- Нет attention и normalization; 3 200 быстрых юнитов и 800 медленных интеграторов с фиксированными leak-константами.
- На равных данных (30 млн символов) предсказывает текст примерно так же, как 0,8M transformer: 0,8838 против 0,8853 bits per character на первых 1 024 историях.
- 4,02 млн параметров, 16 МБ, обучение 2,9 часа на ноутбуке; инференс идёт на CPU.
- Модульная проводка позволяет масштабировать: 16 000-юнитная версия уже обучена и будет выпущена после контрольных экспериментов.
Пример
import sys
from huggingface_hub import snapshot_download
path = snapshot_download("thekoshkin/physlm-fly-4k")
sys.path.insert(0, path)
import physlm_fly as pf
model = pf.PhysLMFly.from_dir(path)
alphabet = pf.Alphabet.from_file(f"{path}/alphabet.json")
print(pf.sample(model, alphabet, "Once upon a time", n_chars=400, seed=0))
Подробнее
Bits per character: 0,8838 на первых 1 024 историях и 0,9192 на 1 025–3 430. На равных данных 0,8M transformer — 0,8853 и 0,9179.4,02 млн параметров, 16 МБ, CPU; обучение — 2,9 ч на MacBook Pro с M5.
Ограничения: простые синтетические английские истории, 66 символов, без instruction following и фактов; выборки часто теряют связность. Это софт-симуляция без аппаратных неидеальностей; код обучения не опубликован.










Comments