FORGE-500M-Chat
500M-чат на гибридной SSM/MoE-архитектуре
1 мин чтенияобновлено
FORGE-500M-Chat — англоязычная диалоговая LLM на 500 млн параметров, которую Soham Pal собрал с нуля. Вместо квадратичного self-attention — линейная рекуррентная SSM и разреженная иерархическая MoE; всего 18 слоёв, из них 15 рекуррентных и 3 глобальных attention.
Ключевые особенности
- 500,0M параметров всего, ~320M активных на токен за счёт HSE-MoE: 32 эксперта, top-2.
- 15 слоёв Adaptive Recurrent Gating (ARG) + 3 слоя Global MHA с RoPE и YaRN.
- Контекст 4096 токенов, расширяется до 16 384 через YaRN.
- Токенизатор CRAYON Turbo: словарь 206 464 BPE-токена с byte-fallback.
- Обучение: 1,66 млрд токенов, затем SFT на диалогах и DPO для выравнивания.
Пример
import sys
from huggingface_hub import snapshot_download
repo_dir = snapshot_download(repo_id='Phase-Technologies/FORGE-500M-Chat')
sys.path.insert(0, repo_dir)
from tokenizer.crayon_wrapper import ForgeTokenizer
from config import ForgeModelConfig
from model.forge_model import build_forge_500m
model = build_forge_500m(ForgeModelConfig.from_json(f'{repo_dir}/model_config.json'))
Подробнее
Финальный pretrain loss — 4.6473, perplexity — 104.30 после 821 шага.Обучение шло на 4× NVIDIA B300 SXM6 MIG (1g.34gb), 1,66 млрд токенов.
Ограничения: модель англоязычная, контекст 4096; автор остановил pretrain раньше плана из-за бюджета.
Веса FP16/BF16 занимают ~1,0 ГБ; полный лог обучения лежит в репозитории.










Комментарии