BAGEL-Local-Edit-LoRA-r64
локальное редактирование фото для BAGEL
2 мин чтенияобновлено
Эта модель представляет собой LoRA-адаптер (компактную надстройку над базовой нейросетью) от автора hopriuse, предназначенный для точечного редактирования изображений. Он работает в связке с мультимодальной моделью ByteDance-Seed/BAGEL-7B-MoT и позволяет вносить локальные изменения в картинку по текстовому запросу. Адаптер получен путём сжатия (низкоранговой конвертации) более крупной модели-учителя Local Edit Teacher с сохранением её навыков правки. Решение пригодится исследователям и разработчикам, которые экспериментируют с унифицированной генерацией и редактированием изображений на базе BAGEL.
Ключевые особенности
- Точечная настройка эксперта: LoRA (rank 64, alpha 128) затрагивает только проекции внимания и MLP эксперта генерации (
moe_gen) внутри архитектуры MoT. - Компактный формат PEFT: это не полноценный чекпоинт, а лёгкий переносимый адаптер, который подключается поверх базовой модели без необходимости скачивать полную копию Teacher-модели.
- Проверенное качество: адаптер прошёл замороженную оценку качества редактирования на выборке из 64 глобальных и 64 локальных промптов по метрике SpatialReward.
- Жёсткая привязка к ревизии: для корректной работы требуется строго определённый коммит базовой модели
ByteDance-Seed/BAGEL-7B-MoT.
Что можно сделать
- Локально менять детали на снимках: подключать адаптер к базовому BAGEL-7B-MoT для редактирования отдельных объектов или областей изображения без перерисовки всей сцены.
- Исследовать дистилляцию и слияние моделей: использовать веса в экспериментах с multi-Teacher OPD, объединением учителей (Teacher fusion) и обучением единых Student-моделей.
Пример
Адаптер загружается поверх базовой модели ByteDance-Seed/BAGEL-7B-MoT с помощью библиотеки peft. Обязательно укажите точную ревизию базы 5019f57d168e5816e8f3f701b17cc816bb7cf24b и убедитесь, что соблюдаются условия лицензии оригинальной модели ByteDance.
Подробнее
Оценка SpatialReward: 0.8559 на локальном подмножестве и 0.8330 на глобальном (64 + 64 примера).Параметры LoRA: rank = 64, alpha = 128, dropout = 0.
Ограничения: не является самостоятельной моделью; требует базовую ревизию 5019f57d168e5816e8f3f701b17cc816bb7cf24b.










Комментарии