Salamandra-7B EAGLE-3 draft
быстрее без изменения ответов
1 min readupdated
Это небольшая draft-модель на 1,43 млрд параметров для спекулятивного декодирования Salamandra-7b-instruct-2606. Она предугадывает следующие токены, а Salamandra их проверяет, поэтому вывод остаётся таким же, как у базовой модели, но генерируется быстрее. Обучена под испанский, каталанский, баскский и галисийский.
Ключевые особенности
- Предлагает 3 токена за шаг, а Salamandra проверяет их и сохраняет качество ответа.
- Заточена под испанский, каталанский, баскский и галисийский языки.
- Запускается через vLLM: чекпойнт уже указывает совместимую базовую модель.
- На валидации угадывает 1-й токен в 66% случаев, первые 2 — в 44%, все 3 — в 30%.
- Файл весит 2,9 ГБ из-за замороженной копии таблицы эмбеддингов Salamandra на 256k токенов.
Пример
vllm serve gabmerlo/salamandra-7b-eagle3-alia
Подробнее
Обучение шло на ~19 тыс. on-policy диалогов, 3 эпохи, последовательности до 4000 токенов, около 23 минут на эпоху на H100 80GB.Словарь draft-модели — 32 тыс. самых частых токенов из обучающих данных.
Лицензия Apache 2.0, данные — CC BY 4.0. Ускорение на тестовых промптах авторы обещают добавить позже.










Comments