Inkling 2 Small
мультимодальная модель с открытыми весами
2 мин чтенияобновлено
Inkling 2 Small — это общая мультимодальная модель, которая принимает текстовые и визуальные входящие данные, а на выходе генерирует текст. Она создана для разработчиков, создающих приложения на базе искусственного интеллекта, включая агентные системы, чат-ботов и инструменты для работы с кодом. Модель построена на базе 48-слойного декодера с разреженной архитектурой Mixture-of-Experts (MoE — смесь экспертов, где для каждого токена задействуется лишь часть параметров) и поддерживает контекстное окно до 1 миллиона токенов.
Ключевые особенности
- Поддержка текста и изображений на входе с совместной обработкой в общем скрытом пространстве.
- Суммарно 594 миллиарда параметров, из которых 17 миллиардов активны для каждого токена.
- Гибридное внимание, сочетающее локальные и глобальные слои.
- Нативная поддержка форматирования в NVFP4 и MXFP8.
Что можно сделать
- Разработать умных чат-ботов и агентов для сложных многошаговых задач с использованием изображений.
- Интегрировать модель в среды разработки для анализа кода и автодополнения.
- Настроить системы поиска с дополненной генерацией (RAG) для работы с большими документами.
Пример
import torch
from transformers import AutoModelForVision2Seq, AutoProcessor
model_id = "crusoeai/Inkling-2-Small-MM"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForVision2Seq.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
Подробнее
Бенчмарки: AA Index — 30.6, Vals Index — 56.1%, FrontierCode v2.0 — 25.4%Требования к железу: минимум 500 ГБ VRAM для NVFP4 (например, 2x NVIDIA B300 или 4x NVIDIA H200)
Особенности: нативно обучена в формате NVFP4, поддерживает интеграцию через vLLM, SGLang и Unsloth










Комментарии