Inkling 2 Small (MXFP8)
мультимодальная MoE-модель на 594B параметров с контекстом 1M
2 мин чтенияобновлено
Inkling 2 Small — мультимодальная модель от Thinking Machines, которая принимает текст и изображения (от 40px до 4096px) и генерирует текстовые ответы. В её основе лежит 48-слойный трансформер с архитектурой MoE (Mixture-of-Experts — разреженная смесь экспертов, где на каждый токен активируются 8 из 384 модулей, что ускоряет инференс): из 594 млрд общих параметров одновременно работают только 17 млрд. Модель поддерживает окно контекста до 1 млн токенов и гибридное внимание из локальных и глобальных слоёв. Этот вариант весов сохранён в формате MXFP8 и пригодится разработчикам ИИ-агентов, систем поиска с генерацией (RAG) и помощников для написания кода.
Ключевые особенности
- Архитектура MoE 594B / 17B: 48 слоёв декодера с выбором 8 из 384 экспертов на токен и встроенным vision-энкодером для совместной обработки текста и картинок.
- Контекст до 1M токенов: модель способна удерживать в памяти огромные объёмы текста и визуальных данных за один запрос.
- Формат MXFP8: версия в 8-битной точности с плавающей запятой, которая показывает прирост на 1–2 процентных пункта в бенчмарках по сравнению с основной версией NVFP4.
- Широкая поддержка фреймворков: из коробки поддерживается локальный запуск через SGLang, vLLM, TokenSpeed и Unsloth, а также дообучение через Tinker, Miles и SkyRL.
Что можно сделать
- Создать автономного ИИ-агента: использовать модель в системах с вызовом внешних инструментов (tool-use) и сложным следованием инструкциям.
- Запустить ассистента для программирования: применять для генерации, анализа и отладки кода на разных языках программирования с учётом большой кодовой базы.
- Построить мультимодальный RAG-сервис: анализировать длинные документы, схемы и изображения в рамках контекстного окна до 1 млн токенов.
Пример
Загрузить и протестировать модель можно в интерактивной песочнице Tinker Playground, через API провайдеров (NVIDIA, Fireworks, Together, Baseten, Nebius, Modal, Cloudflare) или развернуть локально с помощью рецептов для vLLM, SGLang, TokenSpeed и Unsloth, подавая на вход текст в UTF-8 и изображения с разрешением от 40×40 до 4096×4096 пикселей.
Подробнее
Бенчмарки: AA Index (v5.0) — 30.6, Vals Index (v2.2) — 56.1%, FrontierCode v2.0 — 25.4%.Требования к железу: для версии MXFP8 требуется кластер GPU с общим объёмом не менее 800 ГБ VRAM (например, 4× NVIDIA B300 или 8× NVIDIA H200).
Примечание авторов: базовой точностью при обучении была NVFP4 (требует от 500 ГБ VRAM), а выигрыш MXFP8 в 1–2 п.п. на тестах авторы считают незначительным для большинства практических задач.










Комментарии