LFM3-2.2B-Omni-Coder-Instruct

Кастомный merge от Shivansh Kokate: бэкбон LFM3-1.7B объединён с Vision, Audio, Image и Video-компонентами LFM3-Omni-2B. Получилась instruct-модель на 2,24 млрд параметров для кода, tool calling и мультимодального понимания на edge-устройствах.

💪 Ключевые особенности

• 💪 Продвинутое кодирование: генерация, отладка и объяснение кода в небольшом размере.
• 👉 Tool calling: структурированные вызовы функций и работа с внешними API.
• 👀 VIA-понимание: изображения, видео со звуком или без и аудио 16 kHz вместе с текстом.
• 🍒 Контекст 32K токенов на вход и выход.
• 🐶 Выходы: текст, tool calls и код.

😉 Пример

Сценарий из карточки: подайте текст, изображение, видео со звуком или без и аудио 16 kHz — модель вернёт текст, tool calls или код. Для запуска нужны Transformers, torch, torchvision, accelerate, pillow, librosa и soundfile.

Подробнее

Параметры: 2 240 487 474 (2,24B). Контекст: 32K токенов.
Входы: текст, изображения, видео со звуком/без и аудио 16 kHz; выходы: текст, tool calls, код.
Формальных бенчмарков для этого merge пока нет — заявлены унаследованные способности базовых LFM3.
Лицензия LFM Open License v1.0; требования к VRAM в карточке не указаны. Скоро обещаны GGUF, первым Q4_K_M.