Ripple-65B Preview DFlash2

Это BF16 draft-модель от ricursiveAI для спекулятивного декодирования с Ripple-65B Preview или Ripple-65B Preview NVFP4. Содержит 4.04B параметров и архитектуру DFlash2DraftModel, но не генерирует текст самостоятельно — нужна target-модель.

👀 Ключевые особенности

• 👀 Предлагает блоки по 16 токенов, target-модель их проверяет; корректная реализация speculative rejection sampling сохраняет распределение target.
• 💪 DFlash2 объединяет параллельный block drafting, dynamic convolutions и candidate selector.
• 🍒 Пять слоёв: четыре sliding-attention с окном 4 096 токенов и один full-attention NoPE; hidden size 5 120, query heads / KV heads — 80 / 8.
• 💸 4.04B параметров в BF16; shared token embedding и output head берутся у target и в этом репозитории не хранятся.
• 🐾 32 кандидата на позицию, selector rank-256, kernel size 4, group size 16; configured maximum positions — 131 072.

💪 Пример

Флаги для SGLang-сервера с поддержкой Ripple; это дополнение к запуску, а не самостоятельная команда.

--speculative-algorithm DFLASH --speculative-draft-model-path ricursiveAI/Ripple-65B-Preview-DFlash2 --speculative-draft-model-quantization unquant --speculative-num-draft-tokens 16

Подробнее

Валидация экспорта: runtime ripple-sglang на восьми H100 с target-чекпоинтом RL-step-500.
Совместимость и производительность с другими ревизиями target или версиями runtime не заявлены.
Нужен runtime с поддержкой Ripple и DFlash2DraftModel, включая per-layer attention pattern, NoPE-слой, four-tap convolutions и target hidden-state taps.
Tokenizer, chat template, token embeddings и output head — от target-модели. Лицензия Apache 2.0.