nanochat RLM d24

Это chat (SFT) чекпоинт исследовательской RLM-модели от rlm-exps из форка nanochat (ветка h100-rlm). 24-слойный GPT-бэкбон обрабатывает текст ограниченными чанками по 1023 токена и передаёт между ними 512 обученных векторов памяти.

⚙ Ключевые особенности

• ⚙ Архитектура: 24 слоя, 12 голов, ширина 1536; словарь 32 768 токенов (nanochat BPE).
• 🔄 Рекуррентная латентная память: вход цикла устроен как [memory vectors] [<EOM>] [text tokens] [summary slots].
• 📚 SFT на nanochat chat mixture: SmolTalk, MMLU auxiliary_train x3 и GSM8K train x4 — всего 789 759 диалогов.
• 🖥 Веса в bfloat16 в формате PyTorch state_dict; в репозитории также токенизатор, конфиги и логи SFT.
• ⚠ Это не модель для Hugging Face transformers: она не загрузится через AutoModel, нужен форк nanochat и скрипт rlm_sample.

💻 Пример

git clone --branch h100-rlm https://github.com/ifsheldon/nanochat.git
cd nanochat
hf download rlm-exps/nanochat-rlm --local-dir training_run/rlm-sft

Подробнее

Претрен: 5 574 шага по 1 047 552 токена на ClimbMix — около 5,84 млрд текстовых токенов, одна H100 NVL 94 ГБ.
SFT: 504 обновления, held-out loss снизился с 1.511 до 0.867; обучение заняло 14,5 ч на одной H100 NVL.
Ограничения: язык — английский; чат-формат требует специальных токенов nanochat; это исследовательский чекпоинт, а не готовая HF-модель.