Sightline-heads
драфт-головки для быстрого ускорения генерации SVG и Lottie
2 мин чтенияобновлено
Репозиторий содержит набор обученных весов (драфт-головок) для реализации метода Sightline, который ускоряет модели генерации векторной графики без изменения качества их вывода. Метод основан на Speculative Decoding (спекулятивном декодировании, когда небольшая вспомогательная модель быстро предлагает окно токенов, а базовая модель проверяет их за один шаг). В репозитории представлены конфигурации для таких семейств моделей, как OmniSVG, InternSVG, SVGen, HiVG, OmniLottie и StarVector с размером блоков 16 и 32. Инструмент пригодится исследователям и инженерам, работающим с оптимизацией и ускорением векторной генерации.
Ключевые особенности
- Ускорение генерации: Драфт-головки позволяют значительно сократить время генерации SVG и Lottie анимаций.
- Широкая поддержка: Готовые веса для 11 различных настроек и архитектур (OmniSVG, SVGen, StarVector и др.).
- Формат safetensors: Все веса сохранены в современном формате в точности со статьей и результатами бэнчмарков.
- Гибкие окна проверки: Доступны варианты с размером блока 32 (для метода Sightline) и блока 16 (для базовых подходов DFlash и DDTree).
Что можно сделать
- Ускорить генерацию SVG: Подключить головки к соответствующим целевым моделям (например, OmniSVG-8B или StarVector) для быстрого перевода текста и изображений в вектор.
- Генерировать анимацию Lottie: Использовать головки для модели OmniLottie-3B в пайплайнах генерации векторной анимации.
- Провести бенчмаркинг: Сравнить производительность с методами DFlash и DDTree, используя скрипты из официального репозитория Sightline.
Пример
Загрузка нужных весов через командную строку и запуск оценки для текстовых моделей:
hf download lizaiyuan0804/Sightline-heads --include "omnisvg-8b/text-to-svg-b32/*" --local-dir heads
python3 eval/eval_text.py --head heads/omnisvg-8b/text-to-svg-b32 --designs D1-top16-N127
--sets bench --modes greedy,sample --time-ar --out $SIGHTLINE_OUT/oursПодробнее
Архитектура: 5 слоев трансформера, использующих скрытые состояния базовой модели без собственного эмбеддинга.Обучение: на датасетах MMSVG-2M и MMLottie-2M под лицензией CC BY-NC-SA 4.0.
Размер весов: от 0.7 ГБ до 3.2 ГБ в зависимости от целевой модели (в формате bfloat16).










Комментарии