D3 Lite Core AI
быстрый роутер запросов для Apple Silicon
2 мин чтенияобновлено
Независимая текстовая конвертация модели vllm-sr/d3-lite для запуска через Apple Core AI. Модель решает задачу zero-shot-классификации (выбор подходящего варианта без дообучения на конкретных примерах) и маршрутизации запросов за один прямой проход. При конвертации от автора hugging-mac сохранены оригинальные текстовые веса BF16 и выходной слой принятия решений в FP32, но убрана поддержка изображений и видео. Подойдёт разработчикам приложений под macOS, которым нужен локальный и предсказуемый классификатор интентов или голосовой маршрутизатор.
Ключевые особенности
- Работает нативно в среде Apple Core AI с размером графа около 1,51 ГБ.
- Вычисляет логиты сразу для 255 кандидатов за один проход без сохранения состояния (stateless).
- Полное совпадение топового выбора с оригинальной PyTorch-версией на CPU (82 из 82 синтетических промптов).
- Медианное время повторного инференса на Mac с чипом Apple M5 составляет 109,60 мс с учётом токенизации.
Что можно сделать
- Встроить в локального ассистента на macOS для быстрой маршрутизации обращений пользователей по отделам или инструментам.
- Использовать в голосовых пайплайнах для определения намерений пользователя (прерывание, сброс, постановка в очередь или продолжение прослушивания).
- Вызывать напрямую из нативного кода на Swift с минимальными расхождениями вероятностей относительно Python-обёртки.
Пример
import asyncio
from coreai_d3 import D3CoreAI
async def main():
model = await D3CoreAI.load("bundle")
result = await model.system_one(
state="The customer was charged twice for the same order.",
questions={"route": {"type": "choice", "instructions": "Which team should help?", "criteria": {"billing": "Payments", "shipping": "Delivery"}}},
)
print(result)
asyncio.run(main())
Подробнее
Лимит контекста: 512 токенов при batch size 1; запросы с картинками, видео или превышением длины отклоняются.Максимальная разница вероятностей с оригиналом PyTorch: 0,015833; тест голосовой маршрутизации: 6/8 (как у оригинала).
Тестовый стенд: Apple M5, macOS 27.2.1; первичная загрузка графа и токенизатора занимает 88,465 с.
Запуск и замеры на физическом iPhone автором не проводились.










Комментарии