drvexo-4b-unified

Модель от Yujie Intelligence (驭介智能) объединяет визуальное понимание, аудиовход, текстовый диалог, генерацию речи и оценку кандидатов в одном загружаемом пакете. В основе — 4B языковой backbone; по метаданным всего около 6,97 млрд параметров. Языки — китайский и английский, есть локальный Python-запуск и сервис через vLLM-Omni.

▶ Ключевые особенности

• ➕ Зрение + язык: ответы по изображениям, описание сцены и извлечение видимой информации с продолжением по истории диалога.
• 🔤 Речь на zh/en: аудиовход, транскрипция, текстовый ответ и генерация речи; потоковая выдача текста и аудио по частям.
• 🔜 Свой голос по референсу: генерация новой речи в тембре по авторизованной записи 1–30 секунд, без отдельного обучения на каждого говорящего.
• 🟰 Кандидатное решение: ��одель оценивает явно заданные варианты по инструкции и контексту; исполнение действий остаётся за приложением.
• ✖ Tool call и JSON Schema: вызов инструментов, продолжение по результату и извлечение полей в структурированный JSON.
• ◀ Единый пакет: визуальные, аудио, языковые, голосовые и решающие ресурсы упакованы вместе для самостоятельной загрузки и деплоя.

▶ Пример

from pathlib import Path
from PIL import Image
from drvexo_unified import UnifiedModel

model = UnifiedModel(Path("."), device="cuda")
print(model.chat("请介绍一下你自己。", max_new_tokens=256)["text"])
image = Image.open("image.jpg").convert("RGB")
print(model.chat("请描述图片中的内容。", image=image, max_new_tokens=512)["text"])

Подробнее

На NVIDIA DGX Spark / GB10: до 1 378,94 token/s при 128 текстовых запросах; первый аудиочанк — 307–324 мс, генерация — 2,45–2,58× реального времени, 24 kHz.
Ограничения: за раз — не больше одного изображения или одной аудиодорожки, видео нет; для vLLM нужна версия 0.33 и специальный исходник с адаптером DRVEXO.
Решения только оценивают кандидатов и не выполняют действия; лицензия Apache-2.0.