LFM3-1.7B-DFlash-Drafter
ускоритель генерации для LFM3-1.7B
2 min readupdated
Компактная модель-черновик для speculative decoding (спекулятивного декодирования — метода ускорения генерации, когда маленькая модель быстро угадывает несколько токенов вперёд, а основная проверяет их за один проход). Адаптер состоит всего из 3 слоёв трансформера (157,3 млн обучаемых параметров), считывает внутренние состояния базовой модели LiquidAI/LFM3-1.7B и предсказывает сразу 7 следующих токенов. Благодаря точной верификации со стороны основной модели текст на выходе остаётся посимвольно идентичным оригиналу, но генерируется заметно быстрее. Разработка от сообщества Lottolabs создана для стека инференса на ускорителях Tenstorrent Blackhole P150.
Ключевые особенности
- Архитектура в стиле DFlash: за один проход без каузальной маски внутри блока модель генерирует сразу 7 кандидатов, опираясь на нормализованные выходы 2-го, 12-го и 23-го слоёв основной LFM3-1.7B.
- Урезанный словарь черновика: для предсказаний используется замороженная выходная голова самой LFM3-1.7B, ограниченная 65 536 самыми частыми токенами, что покрывает более 99% токенов в чате, коде и математике.
- Гибридная работа в рантайме: при наличии совпадений в промпте (например, при редактировании кода) используется классический поиск по промпту, а в остальных случаях включается нейросетевой drafter с адаптивной глубиной проверки по уровню уверенности (
calibration.json). - Обучение методом самодистилляции: модель обучалась на одной видеокарте RTX 3090 на 63,35 млн токенов собственных ответов LFM3-1.7B с учётом квантования (BFP4/BFP8) целевого чекпоинта.
Что можно сделать
- Ускорить локальный инференс LFM3-1.7B на Tenstorrent P150: подключить экспортную папку с весами (
LFM3_DRAFTER) к совместимому серверуLFM3-1.7B-TT-Mixed-BFP4-BFP8-P150для прироста скорости в диалогах и рассуждениях без потери качества. - Изучить код обучения DFlash-драфтеров: использовать скрипты
drafter.py,train.pyиcalibrate.pyиз репозитория для адаптации подобного спекулятивного декодирования под другие компактные языковые модели.
Пример
PYTHONPATH=. venv/bin/python train.py runs/r4 --data data/train.npz --steps 11000 --save_every 500 --direct \
--block 8 --gamma 4 --anchor_frac 0.125 --taps 2,12,23 --lr 4e-4 --min_lr 4e-5
Подробнее
Скорость на одном пользователе (Tenstorrent P150, по сравнению с обычным prompt lookup): обычный чат вырос с 285.0 до 364.0 tok/s (1.28x), чат с промптом 2K токенов — с 338.5 до 406.8 tok/s (1.20x), задачи GSM8K — с 332.4 до 499.8 tok/s (1.50x).Среднее число принятых токенов за раунд (tau) при 7 черновиках: 2.34 в greedy-режиме и 2.07 при сэмплировании.
Требования и ограничения: не является самостоятельной LLM — требует доступа к скрытым состояниям, эмбеддингам и голове LFM3-1.7B; для обучения использовалась одна RTX 3090 (24 ГБ VRAM, пиковое потребление 18.5 ГБ).
Формат весов:
model.safetensors в BF16 (314.6 МБ, чекпоинт шага 11 000).









Comments