Mistral-7B-Instruct-v0.3 EAGLE3 draft
черновой чекпойнт для спекулятивного декодирования
2 мин чтенияобновлено
Модель представляет собой специализированный черновой чекпойнт (draft model) на базе архитектуры EAGLE-3, созданный для ускорения генерации текста языковой моделью mistralai/Mistral-7B-Instruct-v0.3. Она использует метод спекулятивного декодирования (когда маленькая вспомогательная модель быстро набрасывает несколько токенов вперед, а основная их проверяет за один шаг), что позволяет увеличить скорость работы без потери качества и изменения выходного распределения. Чекпойнт обучен на AWS Trainium2 на наборах данных UltraChat, Magicoder и GSM8K, содержит 293.6 млн тренируемых параметров и оптимизирован под формат speculators. Релиз пригодится разработчикам и инженерам, разворачивающим сервисы на базе Mistral-7B и желающим снизить задержки при инференсе.
Ключевые особенности
- Метод EAGLE-3: спекулятивное декодирование с проверкой каждого предложенного токена целевой моделью без изменения ее итогового распределения.
- Ускорение инференса: снижение времени на генерацию токена в 1.5–2.1 раза при низкой и средней нагрузке на сервере.
- Обучение на качественных данных: тренировка на 61.2 млн токенов (ответы сгенерированы самой Mistral-7B-Instruct-v0.3) с использованием AWS Trainium2.
- Совместимость с vLLM: полная поддержка запуска через стандартные библиотеки для спекулятивного декодирования.
Что можно сделать
- Ускорить локальный или облачный сервис: внедрить чекпойнт в пайплайн vLLM для работы с
mistralai/Mistral-7B-Instruct-v0.3и снизить задержку ответа. - Протестировать на задачах кодинга и математики: получить максимальную длину принятия токенов на задачах программирования (Magicoder) и логических рассуждений (GSM8K).
- Развернуть на AWS Trainium2: запустить модель с использованием фреймворка vllm-neuron и параллелизма тензоров.
Пример
Запуск спекулятивного декодирования с использованием vLLM:
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--speculative-config '{"method": "eagle3", "model": "", "num_speculative_tokens": 3}'Подробнее
Бенчмарки: средняя длина принятых токенов (acceptance length) достигает 2.70 для UltraChat, 3.25 для Magicoder и 3.16 для GSM8K (при k=3).Железо: обучено на одном узле trn2.3xlarge (AWS Trainium2).
Ограничения: показатели актуальны для жадного декодирования (greedy decoding); при семплинге (temperature > 0) эффективность падает. Модель оптимизирована под английский язык, код и математику.










Комментарии