AsemLLM
крошечная языковая модель, целиком написанная на Erlang
2 min readupdated
Релиз от asemqaffaf: word-level языковые модели, которые обучаются и работают полностью на Erlang, без PyTorch и других DL-фреймворков — градиенты параллельно считают worker-процессы. В репозитории лежат веса, словарь и небольшой numpy-загрузчик для справки, а исходники обучения, сервинга и веб-интерфейса — отдельно на GitHub.
Ключевые особенности
- Два варианта: MLP на 152 903 параметра (окно 5 токенов, embedding → tanh → softmax) и GPT-style transformer на 279 007 параметров (2 слоя × 4 головы, dim 64, окно 32 токена).
- Общий word-level токенизатор: 1631 токен, слова с ведущим пробелом, пунктуация и переводы строк.
- Веса в float32 safetensors, референсный
asemllm.pyсверен с Erlang-кодом до ~1e-7 по logits. - Кастомные архитектуры: модели не загрузятся в
transformers, llama.cpp, Ollama или LM Studio. - Это игрушечные модели: они выучили стиль коротких диалогов
User:/Assistant:, но не понимают вопросов.
Пример
pip install numpy safetensors huggingface_hub
huggingface-cli download asemqaffaf/AsemLLM --local-dir AsemLLM
cd AsemLLM
python asemllm.py --chat "What is a good movie?"
python asemllm.py --model transformer --chat "What is a good movie?"
Подробнее
Held-out loss: MLP — 3.73 (perplexity 42) против bigram 3.98 и unigram 5.14; transformer — 3.65 (perplexity 38), но метрика считается иначе и напрямую не сравнима.Данные: ~34 904 токена (138 КБ) синтетических диалогов от локальной 4B-модели; MLP обучен за ~13 минут на Apple M1 Pro в 10 Erlang-процессах.
Ограничения: только английский, без safety-обучения, ответы обычно не связаны с промптом, для реальных задач не подходит.










Comments