MC7ever/lfm3-omni-dualhead
единая архитектура Dual-Head для быстрых решений и генерации
1 мин чтенияобновлено
Модель объединяет две функции на одном общем ядре Tri-hybrid LFM3-Omni. Первая часть (System 1) отвечает за мгновенную классификацию и маршрутизацию запросов без генерации токенов, а вторая (System 2) производит полноценную генерацию текста и речи. Благодаря разделению памяти решение экономит до 50% видеопамяти по сравнению с запуском двух отдельных моделей. Разработка пригодится разработчикам чат-ботов, систем маршрутизации трафика и мультимодальных приложений.
Ключевые особенности
- Объединение классификации (System 1) и генерации (System 2) на общем бэкбоне
- Экономия VRAM: требуется около 4.5 ГБ в дефолтном режиме или 1.8 ГБ в 4-битном
- Отсутствие дублирования весов благодаря использованию разделяемых тензоров памяти
- Поддержка работы с текстом, изображениями и аудиовходом
Что можно сделать
- Создать систему быстрой фильтрации и триажа клиентских запросов за миллисекунды
- Запустить мультимодальную классификацию изображений или аудиоклипов
- Использовать генеративный режим для полноценного диалога и работы с текстом
Пример
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained(
"MC7ever/lfm3-omni-dualhead",
trust_remote_code=True,
device_map="auto"
)
result = model.system_one(state="Urgent: payment error", questions={"is_urgent": {"type": "boolean"}})
print(result)
Подробнее
Бенчмарки: скорость System 1 менее 50 мс на принятие решения.Требования к железу: ~4.5 ГБ VRAM для BF16, ~1.8 ГБ для 4-бит.
Базовые модели: LiquidAI/d1-Omni-2B и LiquidAI/LFM3-Omni-2B.
Лицензия: Apache 2.0.










Комментарии