Phobos-1

Phobos-1 от MarsNext — causal language model, собранная с нуля на архитектуре Hierarchical Cortical MoE: 96,26 млн параметров всего и 52,22 млн активных на токен. Модель рассчитана на генерацию текста, код, математику и рассуждения в блоках <think>, запускается на CUDA, MPS и CPU.

➕ Ключевые особенности

• 🔤 2-Stage Spherical Cortical Routing: Branch -> Specialist Leaf; 4 домена — язык и диалог, код, математика, естественные науки.
• 1⃣ DeepInfer Engram Memory: хеш-таблицы 2-gram и 3-gram на слоях L1 и L5.
• 2⃣ Multi-Token Prediction (t+2) и режим System-2 с <think>...</think>.
• 3⃣ GQA, RoPE, RMSNorm, 8 слоёв, d_model=512, контекст до 2048 токенов.
• 4⃣ Встроенный OpenAI-совместимый сервер и CLI для чата.
• 5⃣ BF16-вес около 215,84 MiB — подходит для offline edge-inference.

▶ Пример

Запуск OpenAI-совместимого сервера:

python serve_openai_api.py --host 0.0.0.0 --port 8000

Запрос через openai SDK:

from openai import OpenAI
client = OpenAI(base_url='http://localhost:8000/v1', api_key='marsnext')
r = client.chat.completions.create(
    model='marsnext/Phobos-1',
    messages=[{'role': 'user', 'content': 'Solve 3x + 7 = 22 step by step.'}]
)
print(r.choices[0].message.content)

Подробнее

Бенчмарки: Gen-25 — 80% (20/25), Python Pass@1 — 60%, <think> Planning — 100%; Combined Avg — 57,5%.
Обучение: 1,56 млрд токенов, 33 977 шагов, 4 стадии; финальный val_ppl — 5,36.
Ограничения: контекст 2048 токенов, возможны ошибки в многошаговой арифметике и комбинаторике без внешних инструментов.
Язык в метаданных — английский; лицензия Apache-2.0.