Ivis-N1.2-Omni

Ivis-N1.2-Omni 2B A1.3B VL от арабской компании Nepetai — мультимодальная модель для текста и изображений. Поддерживает арабский, английский и японский, а также программирование и математические рассуждения. Всего 2,01 млрд параметров, из них около 1,30 млрд активны на токен.

🦾 Ключевые особенности

• 🦾 Гибридная архитектура Transformer-Mamba-MoE: 24 слоя, из них 18 слоёв GQA-внимания и 6 слоёв Mamba Selective SSM.
• 💥 Sparse MoE: 4 слоя, по 8 экспертов, Top-1 routing — на токен активируется один эксперт.
• 👁 Поддержка изображений через VL vision encoder и генерация текстовых ответов.
• ✅ Контекст до 128 000 токенов.
• ✨ Словарь на 13 752 токена для арабского, английского, японского, кода и математики.
• ✅ Лицензия Apache-2.0.

😎 Пример

Сценарий использования: подать изображение и задать вопрос на арабском, английском или японском. Например: «Что изображено на фото? Ответь по-арабски.»

Подробнее

Бенчмарков и примера кода в карточке нет.
Требования к VRAM не указаны; ориентируйтесь на 2,01 млрд параметров и контекст 128K.
Данные и детали обучения не раскрыты.
Лицензия Apache-2.0.