LFM3-Audio-2B-SOMPOA-heresy
компактная аудиомодель без цензуры
2 min readupdated
Это версия мультимодальной модели LiquidAI/LFM3-Audio-2B (1.98B параметров) от пользователя MuXodious, из которой удалили механизм отказов с помощью метода abliteration (точечной корректировки весов без дообучения) через инструмент Heretic. Модель принимает на вход текст или аудио (16 кГц) и отвечает текстом, синтезированной речью (24 кГц) или в смешанном режиме. В отличие от оригинала, который отклонял 99 из 101 тестовых запросов, эта сборка отвечает почти на всё (отказов только 2 из 101), сохраняя исходную точность на бенчмарке PIQA. Подойдёт разработчикам локальных голосовых ассистентов и инструментов, которым нужна свободная генерация без встроенных фильтров на ноутбуках и edge-устройствах.
Ключевые особенности
- Снятие ограничений: количество отказов снижено с 99/101 до 2/101 при низком отклонении распределения от оригинала (KL divergence 0.1045).
- Мультиязычность: распознаёт, переводит и озвучивает речь на 18 языках (включая английский, немецкий, французский, японский и китайский), а голосовой чат и LiveASR работают на английском.
- Потоковая работа и вызов функций: поддерживает стриминговую генерацию речи и преобразование голосовых команд в tool calling для управления приложениями.
- Локальный запуск: архитектура LFM3 с аудиотокенизатором LiquidCodec и контекстом 32K токенов рассчитана на работу на обычных ПК без мощных серверов.
Что можно сделать
- Собрать локального голосового агента с поддержкой tool calling, который выполняет команды без лишних отказов.
- Использовать для транскрибации (ASR), перевода и озвучивания аудиозаписей на 18 поддерживаемых языках через Python-скрипты.
- Анализировать аудиофайлы и задавать модели вопросы о речи, звуках и событиях на записи.
Пример
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "MuXodious/LFM3-Audio-2B-SOMPOA-heresy"
model = AutoModelForMultimodalLM.from_pretrained(model_id, trust_remote_code=True).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.eval()
Подробнее
Метрики PIQA (T040 vs оригинал): acc 0.6251 против 0.6230, acc_norm 0.6284 против 0.6306.Отказы: 2/101 (у базовой модели 99/101), KL divergence: 0.1045.
Ограничения: из-за размера 2B не рекомендуется для сложного многошагового рассуждения и агентного программирования; для знаний лучше подключать поиск.
Лицензия базы: LFM Open License v1.0; для запуска требуется transformers >= 5.20.2 и trust_remote_code=True.










Comments