Moon-Beam-8B-A1B-Preview
MoE, которая отвечает по библиотеке
2 мин чтения
Moon-Beam-8B-A1B-Preview от tablinum — preview-версия MoE-модели на базе inclusionAI/Ling-3.0-tiny: 8B параметров всего, около 1B активных на токен и контекст 131 072 токена. Дообучена через QLoRA на retrieved passages, математике, tool calls и многоходовых диалогах; язык — английский.
Ключевые особенности
- MoE-архитектура: 8B total, ~1B active, 131K context.
- Обучена отвечать по найденным пассажам; для этого есть terrabeam proxy и библиотека engram.
- Preliminary: 96.2% на 400 GSM8K с thinking on; 87.5% на EngramBench (440/503) с thinking off.
- Q4_K_M весит 4.94 GB и совпадает с BF16 по top-1 токену в 97.65% на mixed-наборе.
- MTP draft layer ускоряет декодирование: на RTX A2000 12 GB Q4_K_M даёт в среднем 154.6 tok/s против 136.9.
- Есть GGUF, FP8, MLX и MLX 8-bit варианты; лицензия MIT.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('tablinum/Moon-Beam-8B-A1B-Preview', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained('tablinum/Moon-Beam-8B-A1B-Preview', trust_remote_code=True, torch_dtype='bfloat16', device_map='auto')
msgs = [{'role': 'user', 'content': 'What is 17 * 23?'}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors='pt').to(model.device)
out = model.generate(ids, max_new_tokens=2048, do_sample=True, temperature=1.0, top_p=0.95, top_k=20)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))
Подробнее
Preliminary на 4 ноября: GSM8K 96.2% (400, thinking on), MMLU-Pro 63.9% (700, thinking on), EngramBench 87.5% (440/503, thinking off).BF16-веса — около 16 GB; Q4_K_M — 4.94 GB; на RTX A2000 12 GB Q4_K_M + MTP — 154.6 tok/s.
Это release candidate round 1b: работает с Tablinum-2, а Tablinum-3 ещё собирают и тестируют.
Без retrieved passages качество падает: SimpleQA 2.8% → 59.3% с thinking on.
Язык — только английский; лицензия MIT, как у Ling-3.0-tiny.










Комментарии