morrowglass-lm-byte-small

Это decoder-only Transformer на 1,87 млн параметров, обученный с нуля на произведениях Шекспира из общественного достояния. Автор — Morrowglass Model Foundry; модель задумана как воспроизводимая мини-лаборатория для изучения обучения, оценки и сервинга маленьких языковых моделей.

🔥 Ключевые особенности

• ✅ Архитектура: 4 слоя × 4 головы, d=192, контекст 256 токенов, learned positions, tied embeddings.
• 🔮 Токенизатор byte: UTF-8-байты, словарь 256, отдельный файл не нужен.
• 📚 Обучение: 2 500 шагов, 20,48 млн токенов, AdamW с lr 0.003, Apple M5 Pro, 291 с.
• 💻 Есть замеры KV cache и int8-квантования, а также OpenAI-совместимый сервер.
• ❌ Не instruction-tuned и не для пользовательской генерации: стилизация под Шекспира, частые бессмысленные фрагменты.

💻 Пример

from morrowglass.hub import MorrowglassHubLM

model = MorrowglassHubLM.from_pretrained(
    "path/to/morrowglass-lm-byte-small-2822813d-s0"
)

Подробнее

Валидация: 2,086 bits/byte; тест: 2,171 bits/byte.
На CPU KV cache ускоряет декодинг в 2,48–3,64×; на MPS — от 0,81× до 1,16×.
int8-квантование не дало выигрыша: bpb 2,0858 → 2,0875.
Ограничения: контекст 256 токенов, нет safety-тюнинга, один training seed.