Ivis-N1.2-Omni
арабо-англо-японская VLM на гибридной архитектуре
1 min readupdated
Ivis-N1.2-Omni 2B A1.3B VL от арабской компании Nepetai — мультимодальная модель для текста и изображений. Поддерживает арабский, английский и японский, а также программирование и математические рассуждения. Всего 2,01 млрд параметров, из них около 1,30 млрд активны на токен.
Ключевые особенности
- Гибридная архитектура Transformer-Mamba-MoE: 24 слоя, из них 18 слоёв GQA-внимания и 6 слоёв Mamba Selective SSM.
- Sparse MoE: 4 слоя, по 8 экспертов, Top-1 routing — на токен активируется один эксперт.
- Поддержка изображений через VL vision encoder и генерация текстовых ответов.
- Контекст до 128 000 токенов.
- Словарь на 13 752 токена для арабского, английского, японского, кода и математики.
- Лицензия Apache-2.0.
Пример
Сценарий использования: подать изображение и задать вопрос на арабском, английском или японском. Например: «Что изображено на фото? Ответь по-арабски.»
Подробнее
Бенчмарков и примера кода в карточке нет.Требования к VRAM не указаны; ориентируйтесь на 2,01 млрд параметров и контекст 128K.
Данные и детали обучения не раскрыты.
Лицензия Apache-2.0.










Comments