LiquidAI-LFM3-Omni-2B-MLX-4bit-uzu
омнимодальная модель на 2.17B в 4 битах для uzu
2 мин чтенияобновлено
LiquidAI-LFM3-Omni-2B-MLX-4bit-uzu — это 4-битная квантованная версия свежей мультимодальной модели LiquidAI/LFM3-Omni-2B, перепакованная пользователем davidxifeng под инференс-движок uzu с аппаратным ускорением Metal (для устройств Apple). Оригинальная модель от Liquid AI работает по принципу any-to-any («любой ввод — любой вывод»): она принимает текст, изображения, видео вместе со звуковой дорожкой и аудио, а отвечает текстом, речью или их чередованием. Одна компактная модель на 2.17B параметров заменяет сразу четыре отдельных инструмента — распознавание речи (ASR), визуально-языковую модель (VLM), текстовую LLM и синтез речи (TTS). Пригодится разработчикам локальных голосовых ассистентов и мультимодальных сервисов на Mac, которым нужен быстрый оффлайн-инференс без облачных API.
Ключевые особенности
- Единый мультимодальный конвейер: понимает текст, картинки, видео (2 fps, от 4 до 384 кадров по умолчанию) и аудио (16 кГц), а на выходе генерирует текст или речь в качестве 24 кГц через встроенный аудиотокенизатор
LiquidCodec. - Оптимизация под Metal и uzu: веса переупакованы из
LiquidAI/LFM3-Omni-2B-MLX-4bitбез повторного квантования, что сохраняет исходную точность и позволяет запускать модель черезuzu-engineи встроенный HTTP-сервер с Omni WebUI. - Широкая языковая поддержка: работает с текстом на 16 языках, включая русский, английский, китайский, немецкий и французский, а также поддерживает синтез и понимание речи на 19 языках и диалектах.
- Компактность и контекст 32K: общий размер базовой архитектуры составляет 2.17B параметров (в метаданных репозитория указано 1.19B для упакованных весов), а окно контекста достигает 32 000 токенов на вход и выход.
Что можно сделать
- Локальный голосовой ассистент со зрением: развернуть сервер на Mac и задавать вопросы голосом по фотографии или видеоролику со звуком, получая озвученный ответ.
- Транскрибация и перевод аудио: использовать готовые эндпоинты
/v1/audio/transcriptionsи/v1/audio/translateдля расшифровки записей и перевода речи в локальных приложениях. - Анализ видео со звуковой дорожкой: подавать на вход клипы, чтобы модель одновременно учитывала происходящее в кадре и аудиосопровождение (модель обрабатывает изображения и кадры в нативном разрешении).
Пример
hf download davidxifeng/LiquidAI-LFM3-Omni-2B-MLX-4bit-uzu --local-dir ./LiquidAI-LFM3-Omni-2B-MLX-4bit-uzu
cargo run --release -p cli -- server --model ./LiquidAI-LFM3-Omni-2B-MLX-4bit-uzu --port 18080Подробнее
Архитектура: LFM3 backbone + LFM3 vision encoder + LFM3 causal audio encoder + LiquidCodec (словарь 128 000 токенов).API и интерфейс: после запуска доступны эндпоинты
/v1/chat/completions, /v1/audio/speech, /v1/audio/transcriptions, /v1/audio/translate и веб-интерфейс по адресу [http://127.0.0.1:18080/](http://127.0.0.1:18080/).Ограничения: модель не поддерживает режим рассуждений (
enable_thinking=True недоступен); синтез речи (TTS) заявлен для 19 языков (русский входит в список текстовых языков, но отсутствует в списке речевых локалей).Лицензия: LFM Open License v1.0.










Комментарии