NGen-5-264B-A17B

Это открытая по весам MoE-LLM от TNSA из серии NGen-5. Всего 264,4 млрд параметров при ~17 млрд активных на токен, 60 слоёв и гибридное внимание: 3 слоя Gated DeltaNet linear-attention на 1 gated full-attention.

👀 Ключевые особенности

• 💪 331 routed expert (top-10) + 1 shared expert на слой.
• 🍒 Контекст 262 144 токена.
• 💳 Веса в FP8 (e4m3, 128x128 block scales); роутеры, нормы, эмбеддинги и output head — в BF16.
• 🔥 Размер на диске — около 267,1 ГБ.
• 👀 Код модели написан под OpenArchX и загружает FP8-веса напрямую.

👉 Пример

from modeling_ngen5_moe import NGen5MoeForCausalLM
from tokenizers import Tokenizer
tok = Tokenizer.from_file("NGen-5-264B-A17B/tokenizer.json")
model = NGen5MoeForCausalLM.from_pretrained("NGen-5-264B-A17B")
prompt = "<|im_start|>user\nExplain why the sky is blue.<|im_end|>\n<|im_start|>assistant\n<think>\n"
ids = tok.encode(prompt).ids
out = model.generate([ids], max_new_tokens=512, temperature=1.0, top_k=20)
print(tok.decode(out[0][len(ids):]))

Подробнее

GPQA Diamond — 87,9; MMLU-Pro — 83,0. Оценки предварительные, на BF16 development build; расхождения около 3 пунктов — в пределах шума.
Для запуска нужен OpenArchX и около 267 ГБ на диске; требования к VRAM в карточке не указаны.
Модель может ошибочно называть себя Qwen, Kimi, GLM или DeepSeek — это некорректно.