Phobos-1
компактная MoE-LLM для edge
2 min read
Phobos-1 от MarsNext — causal language model, собранная с нуля на архитектуре Hierarchical Cortical MoE: 96,26 млн параметров всего и 52,22 млн активных на токен. Модель рассчитана на генерацию текста, код, математику и рассуждения в блоках <think>, запускается на CUDA, MPS и CPU.
Ключевые особенности
- 2-Stage Spherical Cortical Routing: Branch -> Specialist Leaf; 4 домена — язык и диалог, код, математика, естественные науки.
- DeepInfer Engram Memory: хеш-таблицы 2-gram и 3-gram на слоях L1 и L5.
- Multi-Token Prediction (t+2) и режим System-2 с <think>...</think>.
- GQA, RoPE, RMSNorm, 8 слоёв, d_model=512, контекст до 2048 токенов.
- Встроенный OpenAI-совместимый сервер и CLI для чата.
- BF16-вес около 215,84 MiB — подходит для offline edge-inference.
Пример
Запуск OpenAI-совместимого сервера:
python serve_openai_api.py --host 0.0.0.0 --port 8000
Запрос через openai SDK:
from openai import OpenAI
client = OpenAI(base_url='http://localhost:8000/v1', api_key='marsnext')
r = client.chat.completions.create(
model='marsnext/Phobos-1',
messages=[{'role': 'user', 'content': 'Solve 3x + 7 = 22 step by step.'}]
)
print(r.choices[0].message.content)
Подробнее
Бенчмарки: Gen-25 — 80% (20/25), Python Pass@1 — 60%, <think> Planning — 100%; Combined Avg — 57,5%.Обучение: 1,56 млрд токенов, 33 977 шагов, 4 стадии; финальный val_ppl — 5,36.
Ограничения: контекст 2048 токенов, возможны ошибки в многошаговой арифметике и комбинаторике без внешних инструментов.
Язык в метаданных — английский; лицензия Apache-2.0.










Comments