svg-slm-4b

aixonlab выпустила svg-slm-4b — LoRA-файнтюн Qwen/Qwen3.5-4B на 4,21 млрд параметров для генерации SVG: иконок, плоских иллюстраций, line art, градиентов, emoji, SMIL/CSS-анимации и сцен. В репозитории лежат merged bf16-веса, адаптер отдельно. Лицензия весов — Apache-2.0.

🔥 Ключевые особенности

• 🤖 LoRA r=32/alpha=64 на все attention и MLP-проекции; 42,5 млн обучаемых параметров.
• 🚀 Обучение заняло около 2 GPU-часов: 207 шагов и ~3 300 примеров (около 4% датасета).
• ⛔ Честно заявлено: модель не обходит Claude Sonnet 5.5; в слепом сравнении — 0 побед.
• 👀 Только 26 из 60 генераций — полные рендерящиеся SVG; 32 упёрлись в лимит 6 000 токенов.
• 🔥 Слабое следование промпту и повторы; сложные сцены и анимация — самые слабые.
• 🫡 Полезна как воспроизводимый baseline и стартовая точка, а не замена frontier-модели.

🚀 Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
repo = 'aixonlab/svg-slm-4b'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype='auto', device_map='auto')
msgs = [{'role': 'user', 'content': 'flat icon of a red coffee mug with steam'}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
ids = tok(text, return_tensors='pt').to(model.device)
out = model.generate(**ids, max_new_tokens=6000, stop_strings=['</svg>'], tokenizer=tok)

Подробнее

Бенчмарк: 26/60 валидных SVG; 0 побед в слепом сравнении с Claude Sonnet 5.5 (n=26); средняя оценка 1,6/10 против 8,4/10.
Оценка на 60 промптах, судья — Claude Opus 5.5; набор небольшой и создан в том же проекте.
Обучение: LoRA r=32/alpha=64, 42,5 млн параметров, 207 шагов, loss ~0,78 → ~0,70; одна RTX PRO 4500 Blackwell 32 GB.
Ограничения: слабое следование промпту, повторы, незакрытые SVG; сложные сцены и анимация — самые слабые. Это baseline, не замена frontier-модели.