LFM3-Omni-2B LiteRT

LiteRT-версия LiquidAI/LFM3-Omni-2B от litert-community: принимает текст, изображения и аудио, отвечает текстом; для озвучки есть отдельные LiteRT-графы и Python-runner. Исходная модель — 2,17 млрд параметров в BF16; здесь основной файл .litertlm с int8-декодером весит 3,23 ГБ.

🧩 Ключевые особенности

• 🌐 Один .litertlm для текста, картинок и аудио: текстовые ответы через LiteRT-LM 0.18.1 на CPU или GPU.
• 🎯 Аудио читается окнами по 30 с; видео в Android-примере — первые 13 с, примерно 1 кадр/с со звуком.
• ⚙ Для речи: depth decoder, frame embedding и codec decoder; есть Python-runner и пример run_omni.py.
• 🧊 На Galaxy S26 GPU: prefill 1 139 tok/s, decode 27,0 tok/s, TTFT 0,93–0,94 с.
• 📀 NPU в этом релизе не поддерживается; контекст 4 096 токенов против 32K у исходной модели.
• 🛑 Лицензия LFM Open v1.0: коммерческое использование организациями с выручкой от $10 млн не лицензируется.

💡 Пример

pip install -r requirements.txt
python examples/run_omni.py 'What is the capital of Japan? Answer briefly.'
python examples/run_omni.py --image photo.png 'What animal is in this picture? Answer briefly.'
python examples/run_omni.py --audio speech.wav --system 'Perform ASR in English.'
python examples/run_omni.py --speech tts 'The quick brown fox jumps over the lazy dog.' --out fox.wav

Подробнее

На Galaxy S26 GPU: prefill 1 139 tok/s, decode 27,0 tok/s, TTFT 0,93–0,94 с; пик памяти 1,05 ГБ + 3,08 ГБ GPU.
На CPU, 4 потока: decode 25,9 tok/s, пик памяти 3,42 ГБ.
Ограничения: NPU не поддерживается, контекст 4 096 токенов, изображения растягиваются до 512×512.
Лицензия LFM Open v1.0: коммерческое использование при выручке от $10 млн не лицензируется.