Apriel Voice 27B Heretic

Это decensored-версия Apriel Voice 27B Preview от ServiceNow, сделанная через Heretic v2.0.0dev методом ARA. Модель на 26,49 млрд параметров понимает речь, рассуждает по контексту и генерирует текст или tool calls на общей backbone Gemma 4; синтез речи остаётся внешнему TTS.

✨ Ключевые особенности

• 🔥 Отказы снижены до 4/100 против 99/100 у оригинала; KL divergence — 0.1818.
• 🦾 Архитектура: Whisper large-v3-turbo speech encoder + learned projector + Gemma 4 26B-A4B backbone.
• ✨ Умеет транскрипцию, перевод речи и ответы на голосовые вопросы; принимает аудио, текст и изображения.
• ✅ Генерирует structured tool calls и следует многошаговым инструкциям; инструменты выполняет приложение.
• 🎤 Подходит для голосовых ассистентов и support-сценариев: текст ответа + внешний синтез и turn-taking на стороне приложения.
• 📉 Не full-duplex: чекпойнт выдаёт текст и tool calls, а не нативную речь.

😎 Пример

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
r = client.chat.completions.create(
    model="Apriel-Voice-27B",
    messages=[{"role":"user","content":[
        {"type":"audio_url","audio_url":{"url":"..."}},
        {"type":"text","text":"Transcribe this speech."}]}])
print(r.choices[0].message.content)

Подробнее

Отказы: 4/100 против 99/100 у оригинала; KL divergence — 0.1818.
Сервинг: vLLM v0.32.0, примеры на 4 GPU; оптимизированный образ даёт ~2× throughput на 4×H100 80 GB.
Ограничения: decensoring неполный — советуют менять system prompt; аудио 16 kHz mono, качество на разных языках неравномерное.
Длинные записи: хорошие результаты до ~30 минут, дальше качество может падать.