Artsy RLHF
LoRA для рисования через генерацию кода
2 мин чтенияобновлено
Финальный чекпоинт проекта Artsy представляет собой LoRA-адаптер (небольшую надстройку над базовой моделью) поверх Qwen/Qwen3.5-4B от автора Rashik24. Вместо прямой пиксельной генерации модель пишет Python-код и вызывает инструменты среды рисования, а сам рендер выполняется во внешнем окружении с поддержкой предпросмотра. Адаптер прошёл три этапа обучения (SFT → RLVR → RLHF с наградой от модели оценки человеческих предпочтений HPSv3) и заметно превосходит базовую Qwen3.5-4B по надёжности и визуальному качеству итоговых иллюстраций. Подойдёт разработчикам агентских систем, исследователям мультимодальных LLM и тем, кто экспериментирует с процедурной генерацией графики через код.
Ключевые особенности
- Кодовая генерация графики: модель формирует Python-скрипты и tool calls, а итоговое изображение создаётся при их исполнении в песочнице.
- Оптимизация под качество рендера: финальный этап RLHF на 1000 промптах с оценкой через HPSv3 повышает эстетику без потери навыков написания кода.
- Итеративный рабочий цикл: сохраняет поддержку генерации, визуального предпросмотра и финальной отправки результата.
- Архитектура с обновлением output-head: требует загрузки через библиотеку PEFT с сохранением отдельных входных эмбеддингов базовой модели.
Что можно сделать
- Интегрировать в среду Artsy и ArtCanvas: использовать как основной чекпоинт для создания иллюстраций по сложным текстовым промптам.
- Встроить в агентский пайплайн (mini-SWE): запускать сгенерированный модельный код в изолированной песочнице с циклом самопроверки по превью.
- Сравнить этапы обучения SFT, RLVR и RLHF: протестировать влияние предпочтительной оптимизации (PPO + HPSv3) на долю валидных рендеров.
Пример
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration
from peft import PeftModel
base_id = "Qwen/Qwen3.5-4B"
rev = "851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a"
processor = AutoProcessor.from_pretrained(base_id, revision=rev)
base = Qwen3_5ForConditionalGeneration.from_pretrained(base_id, revision=rev, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "Rashik24/rlhf-experiment10-genai1000-linear-epoch1-kl-budget-recovery").eval()
Подробнее
Бенчмарк (150 сложных промптов GenAI-Bench, лимит 12 шагов): 149/150 валидных картинок и средний балл HPSv3 0.539 против 102/150 и 0.094 у базовой Qwen3.5-4B.Обучение: LoRA ранга 128, 32 обновления (1 эпоха) на 1000 промптах, batch size 32, 4 траектории на промпт, lr 1e-5, KL-штраф 0.01.
Ограничения: для работы нужны инструкции Artsy, ArtCanvas API и песочница; в шаблоне чата необходимо передавать enable_thinking=False.
Совместимость: проверено на Transformers 5.5.4 и PEFT 0.21.3.










Комментарии