AnuLM-Omni-400M

AnuLM-Omni-400M от toonist — один декодер MoE на 456M параметров (232M активных на токен), обученный с нуля для хинди, английского и Python, а затем дообученный сразу на семи задачах. Рядом стоят два обученных проектора и два замороженных энкодера: Whisper-small для аудио и SigLIP для изображений. Модель рассчитана на одну потребительскую GPU и CPU.

✨ Ключевые особенности

• 💻 Один MoE-декодер: 20 слоёв, hidden 1024, 61 445 токенов, 456M параметров; 232M активных на токен.
• 🧸 Чат, ответы по найденным passages и маршрутизация сообщения в интент — в одном наборе весов.
• 📓 Распознавание английской и хинди-речи: замороженный Whisper-small плюс аудиопроектор на 12,6M параметров.
• 👁 Изображения: замороженный SigLIP, проектор и задачи captioning и VQA.
• ⭐ Заменяет пять отдельных копий декодера, которые раньше отвечали за разные навыки.
• ✅ Лицензия CC BY-SA 4.0: коммерческое использование с атрибуцией; запуск на CPU и одной consumer GPU.

💻 Пример

from anulm.inference.serve import Engine
chat = Engine("toonist/AnuLM-Omni-400M", "cuda")

from anulm.multimodal.vision_encoder import load_trained
vl, tower, tok = load_trained("toonist/AnuLM-Omni-400M", "cuda")

Подробнее

Бенчмарки: WER en 7,9%, WER hi mean 41,9%, intent BANKING77 85,0, MASSIVE hi 80,33, VQA acc 12,6.
Веса: 456,4M параметров, bfloat16; запуск на одной consumer GPU и CPU.
Ограничения: 400M-модель часто ошибается в фактах — для фактов используйте reading по найденным passages; речь только en/hi, изображения — в основном стиль captioning и TextVQA.
Без safety tuning; обучение с нуля на hi/en/Python, затем совместный fine-tune на семи задачах.