arbora-qwen3-8b-online-v2
адаптивные веса для ускорения инференса Qwen3-8B
2 мин чтения
Набор финальных весов для ускорения генерации текстов и кода базовой модели Qwen3-8B (на базе z-lab/Qwen3-8B-DFlash-b16) в задачах разработки ПО (SWE). Репозиторий является частью релиза исследования Arbora: Making Better Use of the Draft Tokens from Block Diffusion Drafters и содержит результаты трёх прогонов онлайн-обучения (дообучения модели прямо на потоке входящих запросов). В основе лежит подход с Block Diffusion Drafter — лёгкой моделью-черновиком, которая заранее предсказывает сразу блок токенов для ускорения основной LLM. Релиз пригодится разработчикам инференс-движков и исследователям, изучающим спекулятивное декодирование и адаптацию моделей на лету под поток реальных задач.
Ключевые особенности
- Три варианта онлайн-адаптации: веса получены после обработки потока из 20 000 запросов по разработке программного обеспечения.
- Конфигурация dflash2: полностью дообученный в онлайн-режиме драфтер (
model.safetensors) и селектор путей (selector.safetensors). - Модульное расширение Arbora: два варианта с добавлением нового эксперта (
new-expertпри замороженных остальных компонентах иnew-expert-and-path-scorerс одновременным обучением оценщика путей). - Горячая замена весов: файлы подготовлены для подгрузки в работающий сервер инференса без его остановки через API-запрос.
Что можно сделать
- Развернуть быстрый сервер для кодинга: подключить веса к инференс-стекам
d2-chain-onlineилиd2-arbora-experts-onlineдля ускорения генерации ответов Qwen3-8B на задачах программирования. - Воспроизвести онлайн-обучение на своих данных: использовать скрипты из связанного репозитория с кодом, чтобы пересобрать обучающую выборку из собственных промптов и повторить эксперимент.
- Сравнить стратегии адаптации: протестировать разницу между полным дообучением драфтера и точечным добавлением одного эксперта при замороженной базе.
Пример
Для обновления весов на лету в запущенном сервере (на базе arbora-qwen3-8b-dflash2-drafter и arbora-qwen3-8b-experts-v2) отправляется HTTP-запрос POST /update_weights_from_disk с параметром load_format: arbora_online из директории arbora/online/.
Подробнее
Базовая модель: z-lab/Qwen3-8B-DFlash-b16Данные обучения: ответы целевой модели на 20 000 SWE-запросов (сам датасет не опубликован, есть скрипты для генерации)
Параметры обучения dflash2: learning rate драфтера 1e-5
Лицензия: Apache 2.0










Комментарии