Siphon LongCat LoRA
редактирование по меткам на картинке
2 мин чтенияобновлено
Siphon-LongCat-LoRA — это LoRA-адаптер (небольшая надстройка над базовой моделью), который учит LongCat-Image-Edit выполнять визуальные инструкции по размеченному изображению: метки, стрелки и рамки задают конкретную правку, а текстовая подсказка идёт по общему шаблону задачи. На выходе получаешь отредактированное изображение, но сам адаптер не является полноценным редактором: базовую LongCat-Image-Edit нужно скачать отдельно и загружать через явную схему Diffusers + PEFT из репозитория с кодом, а не произвольным Transformers AutoPEFT. Это checkpoint 10000 из stage2-final-0225 — тот же LoRA, что использован для восьми примеров в проекте Siphon. Подойдёт тем, кто экспериментирует с редактированием по визуальным меткам и готов проверять результат вручную: карточка прямо предупреждает об ограничениях.
Ключевые особенности
- Редактирование по разметке: текст на картинке, стрелки и боксы задают нужную правку.
- Текстовый канал использует общий шаблон задачи, а не отдельную инструкцию под каждый случай.
- LoRA rank 64, alpha 8; задействованы attention и feed-forward projection.
- Официальный путь запуска — Diffusers + PEFT через код Siphon; AutoPEFT не поддержан.
- У весов указана лицензия apache-2.0, но база и исходные изображения имеют свои условия.
Что можно сделать
- Подготовить демо, где пользователь обводит объект рамкой и меняет его по текстовому шаблону.
- Собрать внутренний инструмент для правок по стрелкам и меткам с ручной проверкой результата.
- Тестировать сценарии с заменой объектов, переносом деталей и удалением маркеров, сравнивая с базой.
- Использовать как отправную LoRA для собственных экспериментов с LongCat-Image-Edit в pipeline Siphon.
Пример
python -m siphon.inference --base-model meituan-longcat/LongCat-Image-Edit --revision 7b54ef423aa7854be7861600024be5c56ab7875a --lora huangwenjun1994/Siphon-LongCat-LoRA --examples examples/examples.json --case box_double_bass --output-dir outputs/box_example
Подробнее
LoRA: rank 64, alpha 8; attention и feed-forward projection.Файл тензоров: 188 794 136 байт (~180 MiB).
Обучение: stage 1 — 4000 пар, 512 px, lr 2e-4, шаг 2400; stage 2 — 20 000 смешанных пар, lr 1e-4, шаги 2400–10000.
Референс: 50 шагов, guidance 4.5, seed 43, bf16 и CPU offload.
Ограничения: галерея выбрана вручную, это не success rate; стрелки ранее не заменили мяч и пульт, в цветочном примере меняются другие цветы, лица/руки/текстуры могут перерисовываться, точная надпись не гарантируется.










Комментарии