SDAR-TargetSFT-1.7B-b16-ep3
драфтовая модель для ускорения генерации Qwen3-8B
1 мин чтения
Эта модель создана как drafter (вспомогательная модель) для speculative decoding (метода ускорения генерации токенов в LLM), где в качестве целевой модели выступает Qwen/Qwen3-8B. Модель обучена на базе JetLM/SDAR-1.7B-Chat-b16 с использованием метода TargetSFT (блочной диффузионной оптимизации SDAR по ответам, сгенерированным Qwen3-8B). Она помогает ускорить работу более крупных языковых моделей при генерации текстов. Модель будет полезна разработчикам и исследователям, занимающимся оптимизацией скорости инференса (процесса работы модели) больших языковых моделей.
Ключевые особенности
- Разработана для speculative decoding в паре с Qwen3-8B
- Основана на 1.7B-модели
JetLM/SDAR-1.7B-Chat-b16 - Обучена на датасете с регенерацией ответов от Qwen3-8B
- Использует блочную диффузионную архитектуру SDAR
Что можно сделать
- Применить модель в конвейере speculative decoding для ускорения инференса Qwen3-8B
- Исследовать многошаговое шумоподавление и методы ускорения языковых моделей
Пример
Загрузка модели выполняется аналогично базовой модели SDAR с параметром trust_remote_code=True, токенизатор общий с Qwen3.
Подробнее
Базовая модель: JetLM/SDAR-1.7B-Chat-b16Параметры: 2.03 млрд
Обучение: 5931 шагов на одной карте RTX PRO 6000
Данные: 99,032 диалога из mlabonne/open-perfectblend










Комментарии