LFM3-Omni-2B

Liquid AI выпустила LFM3-Omni-2B — первую омнимодальную модель в семействе LFM3. Она понимает текст, изображения, видео и аудио, а отвечает текстом и речью; при 2,17 млрд параметров задумана для работы на устройствах вместо отдельных ASR, vision-language, LLM и TTS моделей.

🔥 Ключевые особенности

• 👀 Вход: текст, картинки, видео со звуком или без, аудио 16 кГц; изображения и видео обрабатываются в нативном разрешении.
• 💯 Выход: текст, речь 24 кГц или чередование текста и речи.
• 🧐 Видео: 2 fps, по умолчанию 4–384 кадра; модель может учитывать и картинку, и звуковую дорожку.
• 🌞 32K токенов контекста; 16 текстовых языков, включая русский, и 19 речевых локалей.
• 🚀 Варианты BF16 для GPU (Transformers, SGLang) и GGUF для llama.cpp на CPU/GPU, включая realtime speech server.
• ⛔ Non-reasoning: режим enable_thinking=True не поддерживается.

💯 Пример

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = 'LiquidAI/LFM3-Omni-2B'
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to('cuda').eval()

Подробнее

Бенчмарков в карточке нет. Модель на 2,17B параметров; отдельные требования к VRAM не указаны.
Архитектура: LFM3 backbone, LFM3 vision encoder, LFM3 causal audio encoder и LiquidCodec.
Для речи/чередования: audio_temperature=0.4, audio_repetition_penalty=1.2; для текста хорошо работает greedy.
Лицензия — LFM Open License v1.0. Контекст 32K, видео по умолчанию 2 fps.