SGI-Preview

SGI-Preview — instruct-модель на 70B параметров от SGI Team. Это dense Transformer, обученный с нуля на 12 трлн токенов, с заявленной поддержкой контекста до 1M. В карточке сделан акцент на агентном кодинге и reasoning.

⚡ Ключевые особенности

• 🧩 Dense-архитектура: 70B параметров, 80 слоёв, узкий d_model 5120; авторы сознательно выбрали её вместо MoE.
• 🎯 Terminal-Bench 2.1 — 80.5; по этому бенчмарку модель выше Reflection Beam 501B (80.1), Muse Spark Open 816B (76.4), Inkling 975B (63.8) и Nemotron 3 Ultra 550B (56.4).
• 🌐 Заявлен контекст до 1M; обучение включало midtraining, расширение контекста, SFT, long-context SFT и RL.
• ⚙ Есть BF16- и NVFP4-версии; NVFP4-чекпоинт позиционируется для рабочих станций вроде NVIDIA DGX Spark.
• 🪙 Лицензия Apache 2.0; отдельно выпущена pretrain-only базовая модель SGI-Base-Preview.

💡 Пример

Сценарий, под который заточены бенчмарки, — агент в терминале: модель чинит код и проходит тесты в задачах уровня Terminal-Bench. Например, запрос: Найди причину падения тестов в репозитории и предложи патч. Модель рассчитана на многошаговое reasoning и агентные задачи.

Подробнее

Terminal-Bench 2.1: 80.5 (Terminus 2 — 80.5), SWE-bench Verified — 76.5, MMLU — 89.6.
70B dense; NVFP4-чекпоинт рассчитан на рабочую станцию, например NVIDIA DGX Spark; ~240 tok/s на 2×B200 при batch=8.
Претрейн — 12T токенов с преобладанием английского; заявленный контекст — до 1M; лицензия Apache 2.0.