Языковые моделиzerolimites
BitNet-TinyDialogues-1.58b
крошечная демонстрация тернарного BitNet
1 мин чтения
Экспериментальная модель от zerolimites: причинный transformer с BitLinear и тернарными весами {-1, 0, +1} в forward (1,58 бит/вес), обученный с нуля на CPU на TinyDialogues. В модели около 2,89 млн параметров, 4 слоя, hidden 256 и контекст 128 токенов; язык — английские детские диалоги.
📝 Ключевые особенности
- 📝 BitNet b1.58-style: тернарные веса и 8-битные активации на токен (W1.58A8); это не «1 математический бит» на вес.
- ⌨ Обучение на CPU: 8000 steps, batch 8, seq 128; лучший val loss — 2.5838 на step 7000, perplexity ~13.25.
- 📦 GGUF-варианты: TQ1_0 (~1,1 MiB), TQ2_0 (~1,2 MiB) и F32 (~11 MiB).
- 😎 Архитектура: ReLU² в FFN, RoPE, RMSNorm/subLN, tied embeddings, vocab 2048 BPE SentencePiece.
- 🫤 Ограничение: обучена только на английских детских диалогах; не ассистент общего назначения.
⌨ Пример
Запуск через llama.cpp; для корректного FFN нужен патч с ReLU² из репозитория.
llama-cli -m gguf/bitnet-tinydialogues-TQ1_0.gguf \
-p "user: can we play? assistant:" -n 64 --temp 0.7 -t 2 -r "user:"Подробнее
Параметры: ~2,89 M; 4 слоя, hidden 256, FFN 512, 4 heads (KV 2), vocab 2048, контекст 128.Лучший val loss 2.5838 (step 7000), perplexity ~13.25.
Для llama.cpp нужен патч ReLU² или Dockerfile; модель — демо BitNet/GGUF/CPU, а не готовый чат-ассистент.
Лицензия MIT.
Комментарии