LFM3-Audio-2B
компактная аудиомодель для локального запуска
1 мин чтенияобновлено
Модель семейства LFM3 от LiquidAI на 2B параметров: принимает текст или аудио, а отвечает текстом, речью 24 кГц или смешанным потоком. Архитектура включает бэкбон LFM3, причинный аудиоэнкодер и токенизатор LiquidCodec; контекст — 32K токенов.
Ключевые особенности
- ASR, TTS и перевод речи на 18 языках; голосовой чат пока только на английском.
- Стриминг: причинное кодирование аудио, инкрементальный prefill и потоковая генерация речи.
- Понимание аудио: отвечает на вопросы о речи, звуках и событиях в записи.
- Tool calling: превращает голосовые запросы в вызовы инструментов, с текстом или речью.
- Локальный запуск: BF16, GGUF для llama.cpp, 4-bit MLX для Apple Silicon и ONNX Runtime.
Пример
Быстрый старт с Transformers:
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "LiquidAI/LFM3-Audio-2B"
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype=torch.bfloat16, device_map="cuda", trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to("cuda").eval()Подробнее
Для речи заявлены 18 языков и локалей, но голосовой чат — только английский.Вход аудио — 16 кГц, выход речи — 24 кГц; контекст 32K токенов.
Для синтеза речи карточка рекомендует audio_temperature=1.0, audio_top_k=128, audio_repetition_penalty=1.1.
Лицензия LFM Open License v1.0; модель не рекомендована для агентного кодинга и сложных многошаговых рассуждений.










Комментарии