mHC-49B-Tokens

Финальный mHC-чекпоинт в сравнении архитектур NextTransformer. Это text-generation модель на 1 353 550 818 параметров с контекстом 2 048 токенов; 49B в названии означает токены обучения, а не размер модели.

🔥 Ключевые особенности

• ✅ Hyper-connections, в которых смешивание потоков поддерживается близким к дважды стохастическому.
• 🦾 Pretrained на ClimbMix за 46 875 обновлений.
• 📉 Validation BPB — 0,6617; CORE-22 (×100) — 35,33.
• Ⓜ Для запуска нужны Python 3.10–3.13, реализация nexttransformer и safetensors.

💥 Пример

import json
from pathlib import Path
from huggingface_hub import snapshot_download
from nexttransformer.models import build_model, config_from_dict
root = Path(snapshot_download("NextTransformer/mHC-49B-Tokens"))
config = config_from_dict(json.loads((root / "model_config.json").read_text()))
model = build_model(config, device="cpu")
print(model)

Подробнее

Чекпоинт финальный в серии mHC; обучение — 46 875 шагов на ClimbMix.
Контекст — 2 048 токенов, параметров — 1 353 550 818.
Метрики: validation BPB 0,6617 и CORE-22 (×100) 35,33.
Пример из карточки рассчитан на CPU; VRAM не указан.