К содержимому
Другое

qwen35-l1-dspark-2l-v32k

быстрая черновая модель для ускорения генерации

2 мин чтенияобновлено

Компактная draft-модель (вспомогательная сеть, предсказывающая сразу несколько следующих токенов для ускорения основной LLM) от автора IWRITECODE. Она построена на архитектуре DSpark в библиотеке speculators, содержит всего 2 слоя трансформера (0.4B параметров) и весит 764 МБ в формате bfloat16. В отличие от стандартного подхода MTP (Multi-Token Prediction — встроенного предсказания нескольких токенов), эта модель лучше угадывает токены и обходит MTP по пропускной способности при высокой параллельной нагрузке на сервер. Пригодится ML-инженерам для ускорения инференса и снижения задержек в продакшене при большом потоке запросов.

Ключевые особенности

  • Прирост скорости на 21–23%: пропускная способность увеличивается в 1.210–1.232 раза по сравнению с базовой генерацией без draft-модели.
  • Высокая точность предсказаний: в среднем принимается 3.380–3.382 токена за шаг (при параметре num_speculative_tokens = 3), что на 0.061–0.065 выше, чем у MTP.
  • Компактная архитектура DSpark: 2 слоя трансформера, словарь черновика на 32 000 токенов, markov_head_type: vanilla (ранг 256) и включённый модуль оценки уверенности (enable_confidence_head).
  • Преимущество под нагрузкой: при высокой конкурентности запросов (192–256) модель обгоняет MTP на 20–62.8 tok/s и снижает медианную задержку p50 на 1.957 с при нагрузке 3.0 req/s.

Что можно сделать

  • Ускорить инференс-сервер: подключить модель с бэкендом TRITON_ATTN (при целевом бэкенде FLASHINFER) для обслуживания большого потока параллельных запросов.
  • Заменить или сравнить с MTP: использовать её в пайплайнах спекулятивного декодирования для повышения пропускной способности при конкурентности от 192 запросов и выше.
  • Воспроизвести обучение: изучить train_command.txt и проверить целостность весов по checkpoint_sha256.txt из репозитория для адаптации под свои задачи.

Пример

{
  "model": "",
  "method": "dspark",
  "num_speculative_tokens": 3,
  "attention_backend": "TRITON_ATTN"
}
ПодробнееУсловия замеров: 2000 промптов, greedy-декодирование до EOS, 8 GPU на 3 хостах.
Скорость при concurrency 192: 3067.4–3429.6 tok/s против 2542.0–2810.6 tok/s у бейзлайна (в среднем на +30.0 tok/s быстрее MTP).
При низкой нагрузке (concurrency 1–64) уступает MTP на 4.6–89.1 tok/s, раскрываясь при высокой параллельности.
Валидность JSON на 2000 запросах: 1491/2000 (против 1495/2000 без draft-модели).
Обсудить Telegram 0 15

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # IWRITECODE/qwen35-l1-dspark-2l-v32k
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download IWRITECODE/qwen35-l1-dspark-2l-v32k --local-dir ~/models/qwen35-l1-dspark-2l-v32k
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к qwen35-l1-dspark-2l-v32k
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии qwen35-l1-dspark-2l-v32k — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

IWRITECODE/qwen35-l1-dspark-2l-v32k
Автор
IWRITECODE
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

150

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии