cw4-screenshot2html-v0.2
генерация HTML и Tailwind CSS по скриншоту
2 мин чтенияобновлено
QLoRA-адаптер (компактная надстройка, обученная с 4-битным квантованием) от автора sramsingh-env, который превращает скриншот веб-страницы в единый HTML-файл со стилями Tailwind CSS 2.2.19. Адаптер построен на базе мультимодальной модели Qwen3-VL-2B-Instruct и обучался на 8 000 страницах из набора данных WebSight v0.2. По сравнению с базовой моделью без дообучения (zero-shot) он радикально повышает долю завершённых HTML-документов и точность воспроизведения текста, тегов и цветов. Решение подойдёт веб-разработчикам для быстрого создания черновой вёрстки по макету или скриншоту для последующей ручной доработки.
Ключевые особенности
- Основан на 4-битной версии
Qwen3-VL-2B-Instruct(Unsloth) с параметрами LoRA r=16, alpha=16; слои зрения при обучении были заморожены. - На синтетическом тесте WebSight (100 страниц) композитный балл вырос с 0.345 у базовой модели до 0.896, а доля полного HTML — с 4% до 98%.
- На реальных страницах из бенчмарка Design2Code композитный показатель составил 0.604 против 0.373 у базовой Qwen3-VL-2B.
- В репозитории доступны лучший чекпоинт (шаг 664 в папке
adapter_best/), финальные веса, сплиты данных и сохранённые метрики.
Что можно сделать
- Получить базовый черновик одностраничного сайта или лендинга в формате HTML + Tailwind CSS по готовому скриншоту.
- Использовать готовые сплиты и оценки из репозитория для воспроизведения экспериментов по задаче screenshot-to-code на лёгких VLM-моделях.
Пример
Для запуска загрузите базовую модель через Unsloth, подключите веса adapter_best/adapter_model.safetensors, передайте скриншот (шириной 1024 px) с жадным декодированием (до 1024 новых токенов) и используйте промпт: Generate one complete HTML file using Tailwind CSS that reproduces this web page screenshot. Output only the HTML.
Подробнее
Обучение: 1 эпоха на 8 000 страниц WebSight v0.2, эффективный батч 8, lr 2e-4, одна видеокарта NVIDIA RTX 4090 (заняло 22 минуты).Ограничения по длине: генерация ограничена 1024 токенами, из-за чего на сложных реальных страницах только 45% ответов получаются полными.
Известные недочёты: могут теряться нижние блоки (формы, футеры), при пустом скриншоте модель способна додумывать текст.
Безопасность и приватность: рендерить код стоит только в песочнице с отключёнными скриптами и не загружать скриншоты с личными данными.










Комментарии