POSET length predictors
предикторы длины ответа для vLLM
2 min readupdated
Набор обученных модулей для системы POSET (conformal poset scheduling — планировщик запросов с конформным предсказанием для движка инференса vLLM) и её базовых моделей сравнения. Предикторы оценивают, сколько токенов ещё осталось сгенерировать большой языковой модели (включая блок рассуждений до тега и сам финальный ответ) на каждом шаге генерации. В репозитории уже выложены веса для модели DeepSeek-R1-Distill-Qwen-14B, а позже автор планирует добавить варианты для Qwen3.5-27B и модели на 70B параметров. Инструмент пригодится инженерам MLOps и разработчикам систем высоконагруженного инференса LLM для более точного планирования памяти и батчей.
Ключевые особенности
- Предсказание оставшейся длины генерации в реальном времени: двухслойный MLP (512 × 2) принимает активации с 28-го слоя модели и 5 позиционных признаков, выдавая корень из числа оставшихся токенов.
- Конформная калибровка: в комплекте идут файлы
.npzс радиусамиq(p)для уровнейalphaот 0.05 до 0.9, что позволяет строить доверительные интервалы длины ответа. - Разделение по типам трафика: отдельные головы обучены на диалоговых запросах (группа
chatиз WildChat и LMSYS-Chat) и на промптах из набора ForeLen (группаbase). - Наличие бейзлайнов для сравнения: помимо основных голов POSET, в папке лежат дискретные декодерные головы и классификаторы на базе
bert-base-uncased, обученные на тех же данных.
Что можно сделать
- Встроить предиктор в пайплайн планировщика POSET внутри vLLM при развёртывании DeepSeek-R1-Distill-Qwen-14B, чтобы заранее оценивать длину длинных цепочек рассуждений.
- Использовать готовые чекпоинты и файлы оценки
eval_chat.json/eval_base.jsonкак точку отсчёта при исследовании собственных алгоритмов предсказания длины генерации LLM.
Пример
from poset.predictor import load_head # репозиторий POSET, ветка poset-unified
head = load_head("r1q14b/heads/chat_head.pt")
Подробнее
Оценка дляr1q14b (DeepSeek-R1-Distill-Qwen-14B, float16, max_tokens = 16,384) при alpha = 0.1:•
chat (все фазы): покрытие 0.889, ширина интервала 2 436, MAE 705 токенов, корреляция Спирмена 0.897.•
base (все фазы): покрытие 0.880, ширина интервала 6 451, MAE 1 843 токена, корреляция Спирмена 0.820.Обучение проводилось на длинах жадной генерации (temperature 0) самой обслуживаемой модели. Чекпоинты сохранены как словари
torch.save (загрузка с weights_only=False).









Comments