jarvis-138m

jarvis-138m — авторегрессионная decoder-only Transformer-модель примерно на 138,4 млн параметров (113,3 млн без эмбеддингов), обученная прежде всего на русском тексте и диалогах. Это PyTorch-чекпоинт с собственным кодом проекта lubenkov/jarvis: он не загружается напрямую через transformers.AutoModelForCausalLM. Подходит для локальных экспериментов, изучения устройства Transformer и коротких русскоязычных диалогов.

🤔 Ключевые особенности

• 📝 16 слоёв, 12 голов внимания, hidden size 768, SwiGLU и RMSNorm.
• ⌨ Контекст 1024 токена, словарь 32 768 токенов byte-level BPE и поддержка <|system|>.
• 🗣 Обучение: 3,2 млрд токенов pretraining и 200 млн токенов SFT на двух T4.
• 🤔 Оценка BPC на held-out: 1,08 web_ru, 1,10 texts_ru, 0,88 chat_ru.
• 👍 Запуск локально через chat.py и generate.py; CUDA используется при наличии, иначе CPU.
• 🫡 Лицензия чекпоинта Apache-2.0, но условия исходных датасетов нужно проверять отдельно.

⌨ Пример

python chat.py \
  --ckpt checkpoints/hf-jarvis-138m/jarvis-138m-sft-fp16.pt \
  --tokenizer checkpoints/hf-jarvis-138m/tokenizer.json \
  --system "Ты — Jarvis, дружелюбный русскоязычный помощник."

Подробнее

Модель: ~138,4 млн параметров, 16 слоёв, контекст 1024 токена.
BPC: 1,08 на web_ru, 1,10 на texts_ru, 0,88 на chat_ru (ниже — лучше).
Обучение: 3,2 млрд токенов pretraining + 200 млн SFT, две T4, около 45 GPU-часов.
Ограничения: небольшая ёмкость, возможны повторы, ошибки и слабое следование сложным инструкциям; не для высокорисковых решений.