CycleGAN Horse ↔ Zebra
превращение лошадей в зебр и обратно
2 min readupdated
Модель для задачи image-to-image (преобразования одного изображения в другое), которая умеет «перекрашивать» лошадей на фото в зебр и выполнять обратный перевод. В репозитории опубликованы веса двух генераторов архитектуры CycleGAN (генеративно-состязательной сети для непарного переноса стиля) для фреймворков TensorFlow и Keras. Благодаря полносвёрточной архитектуре на базе ResNet с 9 остаточными блоками генератор принимает изображения произвольного разрешения при условии, что стороны кратны 4. Релиз пригодится разработчикам, изучающим классические GAN-архитектуры и перенос доменов на Keras.
Ключевые особенности
- Два отдельных файла весов:
G.weights.h5переводит лошадей в зебр, аF.weights.h5— зебр в лошадей. - Лёгкий вес: каждый файл весов генератора занимает около 46 MB, веса дискриминаторов в релиз не включены.
- Гибкое разрешение: полносвёрточная сеть ResNet (свёрточный слой 7x7, два понижения и два повышения размерности, instance norm) работает с любыми размерами сторон, кратными 4.
- Простая нормализация: входные и выходные тензоры масштабируются в диапазон
[-1, 1], активация на выходе —tanh.
Что можно сделать
- Обработать фотографии лошадей или зебр в простом окружении для стилизации и экспериментов с переносом текстур.
- Использовать готовые веса в учебных проектах на TensorFlow 2.20 / Keras для разбора работы CycleGAN без необходимости тратить 16 часов на обучение с нуля.
- Протестировать генерацию через готовое интерактивное демо в Hugging Face Spaces или запустить ноутбук из папки
notebooks/в Google Colab.
Пример
В карточке модели нет готового сниппета с инференсом, но автор подготовил интерактивное приложение на базе этих весов и Colab-ноутбук в связанном GitHub-репозитории. Для работы с моделью напрямую в Keras достаточно загрузить нужный файл весов (G.weights.h5 или F.weights.h5), подать изображение с размерами, кратными 4, приведённое к диапазону [-1, 1], и получить переведённый снимок на выходе.
Подробнее
Обучение: 100 эпох на датасете Horse2Zebra (1 067 фото лошадей и 1 334 фото зебр в разрешении 256×256) на GPU Kaggle T4 (~16 часов, TensorFlow 2.20).Гиперпараметры: оптимизатор Adam (lr 2e-4, beta1 0.5), batch size 1, least-squares adversarial loss, вес cycle-consistency — 10, identity — 5.
Ограничения: лучше всего работает на крупных планах животных на простом фоне; на дальних планах, стадах и сложных фонах полосы могут смазываться, при переводе зебры в лошадь иногда остаётся слабая текстура полос, а на очень больших фото полосы становятся более мелкими и неоднородными.










Comments