WeightBake-Qwen2.5-3B-DPO
«запечённый» системный промпт для голосового роутера
2 мин чтенияобновлено
Компактная языковая модель (LLM) на базе Qwen2.5-3B-Instruct (3.09B параметров) от автора sarthax, прошедшая дистилляцию контекста, SFT (обучение с учителем) и DPO (настройку по предпочтениям). Главная идея проекта — перенести громоздкий системный промпт корпоративного голосового шлюза длиной 1,922 токена прямо в веса нейросети. Благодаря этому при запуске модели достаточно передать короткую команду из 10 токенов, сохранив строгое следование формату JSON и правилам маршрутизации. Разработка пригодится инженерам, разворачивающим быстрые голосовые ассистенты и API-роутеры в условиях ограниченной видеопамяти.
Ключевые особенности
- Сокращение системного промпта на 99.48% — с 1,922 до 10 токенов без потери качества следования инструкциям.
- Высокая точность соблюдения правил: 97.50% полного соответствия на отложенной выборке против 81.25% у базовой модели с полным промптом.
- Снижение потребления памяти KV-cache в 15.27 раза (с 71.93 MiB до 4.71 MiB на одну сессию в FP16), что позволяет держать до 1,738 одновременных сессий на 8 GiB VRAM.
- Ускорение времени до первого токена (TTFT P50) в vLLM в 6.52 раза при одиночном запросе и в 17.45 раза при 32 параллельных потоках.
- Полное отсутствие «подхалимства» в ответах (100% Zero Sycophancy), строгая валидность JSON (100%) и удержание длины реплик в диапазоне 5–22 слов для озвучки (TTS).
Что можно сделать
- Использовать в качестве детерминированного роутера входящих обращений в голосовых шлюзах и колл-центрах с минимальной задержкой ответа.
- Встроить в пайплайны, требующие строгого вывода в формате сырого JSON без markdown-обёрток и лишних символов, мешающих синтезу речи.
- Взять за основу или референс при оптимизации собственных системных промптов, когда длинные инструкции съедают VRAM и замедляют prefill.
Пример
System: Respond as the deterministic voice router in raw JSON.
User: Account AC-8841 was billed 499.50 twice this morning. Check that invoice right away.Подробнее
Метрики (80 тестовых примеров): 97.50% Full Compliance, 100% Valid JSON и Strict Schema, 97.5% укладываются в 5–22 слова.Скорость в vLLM: TTFT P50 снизился с 161.8 мс до 24.8 мс (C=1) и с 835.6 мс до 47.9 мс (C=32), пропускная способность выросла до 29.21 RPS.
Обучение: этап 1 — QLoRA (r=16, alpha=32) на 800 примерах, этап 2 — DPO (beta=0.1) на 800 триплетах против 6 типов ошибок.
Форматы и ограничения: доступна в 16-битных объединённых весах (bfloat16) для vLLM и в квантовании GGUF (q4_k_m); модель узко специализирована под английский язык и конкретную задачу.










Комментарии