morrowglass-lm-byte-small
крошечная LLM для экспериментов
1 min readupdated
Это decoder-only Transformer на 1,87 млн параметров, обученный с нуля на произведениях Шекспира из общественного достояния. Автор — Morrowglass Model Foundry; модель задумана как воспроизводимая мини-лаборатория для изучения обучения, оценки и сервинга маленьких языковых моделей.
Ключевые особенности
- Архитектура: 4 слоя × 4 головы, d=192, контекст 256 токенов, learned positions, tied embeddings.
- Токенизатор byte: UTF-8-байты, словарь 256, отдельный файл не нужен.
- Обучение: 2 500 шагов, 20,48 млн токенов, AdamW с lr 0.003, Apple M5 Pro, 291 с.
- Есть замеры KV cache и int8-квантования, а также OpenAI-совместимый сервер.
- Не instruction-tuned и не для пользовательской генерации: стилизация под Шекспира, частые бессмысленные фрагменты.
Пример
from morrowglass.hub import MorrowglassHubLM
model = MorrowglassHubLM.from_pretrained(
"path/to/morrowglass-lm-byte-small-2822813d-s0"
)
Подробнее
Валидация: 2,086 bits/byte; тест: 2,171 bits/byte.На CPU KV cache ускоряет декодинг в 2,48–3,64×; на MPS — от 0,81× до 1,16×.
int8-квантование не дало выигрыша: bpb 2,0858 → 2,0875.
Ограничения: контекст 256 токенов, нет safety-тюнинга, один training seed.










Comments