Salamandra-7B EAGLE-3 draft

Это небольшая draft-модель на 1,43 млрд параметров для спекулятивного декодирования Salamandra-7b-instruct-2606. Она предугадывает следующие токены, а Salamandra их проверяет, поэтому вывод остаётся таким же, как у базовой модели, но генерируется быстрее. Обучена под испанский, каталанский, баскский и галисийский.

⚙ Ключевые особенности

• ⚡ Предлагает 3 токена за шаг, а Salamandra проверяет их и сохраняет качество ответа.
• 🌐 Заточена под испанский, каталанский, баскский и галисийский языки.
• 🖥 Запускается через vLLM: чекпойнт уже указывает совместимую базовую модель.
• 📊 На валидации угадывает 1-й токен в 66% случаев, первые 2 — в 44%, все 3 — в 30%.
• 📌 Файл весит 2,9 ГБ из-за замороженной копии таблицы эмбеддингов Salamandra на 256k токенов.

🖥 Пример

vllm serve gabmerlo/salamandra-7b-eagle3-alia

Подробнее

Обучение шло на ~19 тыс. on-policy диалогов, 3 эпохи, последовательности до 4000 токенов, около 23 минут на эпоху на H100 80GB.
Словарь draft-модели — 32 тыс. самых частых токенов из обучающих данных.
Лицензия Apache 2.0, данные — CC BY 4.0. Ускорение на тестовых промптах авторы обещают добавить позже.