Asuka-FM
сверхлёгкий генератор аниме-арта на 200M параметров
2 min readupdated
Компактная диффузионная модель от разработчика aipracticecafe, обученная с нуля на одной видеокарте RTX 4090 для генерации аниме-иллюстраций по тегам. В основе лежит архитектура Dual-Stream DiT (Diffusion Transformer — трансформер для диффузионной генерации) на 200 млн параметров в связке с текстовым энкодером LFM2.5-230M и методом Flow Matching. Главная фишка модели — встроенное управление виртуальной камерой (панорамирование и зум) прямо при генерации без дополнительного обучения, а также версия Pixel DiT, работающая без этапа декодирования через VAE (автоэнкодер). Подойдёт энтузиастам, исследователям и владельцам потребительских видеокарт, которым нужен быстрый и лёгкий генератор.
Ключевые особенности
- Компактность и обучение с нуля: всего ~200M параметров в основном блоке, модель обучена на 337 тыс. отобранных изображений Danbooru с применением SPRINT (отбрасывание 75% патчей на ранних этапах для ускорения).
- Zero-shot управление камерой: благодаря непрерывному позиционному кодированию RoPE с нормализацией по соотношению сторон можно сдвигать кадр по осям X/Y и менять масштаб на этапе инференса.
- Два режима работы (Latent и Pixel DiT): версия
asuka-1024-pixel-dipгенерирует сразу в пиксельное пространство без VAE-декодера, ускоряя генерацию на малом числе шагов (до 3,34× на 1 шаге). - Поддержка разрешения 1024×1024: многоэтапное обучение от 256px до нативного 1 мегапикселя с использованием VAE от FLUX.2-dev.
Что можно сделать
- Генерировать аниме-иллюстрации с кадрированием: настраивать приближение (
zoom) и сдвиг камеры (x_shift,y_shift) через готовый веб-интерфейс на Gradio (ui_app.py) из репозитория проекта. - Запускать быструю генерацию за 4–8 шагов: использовать чекпоинт
pixel-dipдля мгновенных набросков или экспериментов с онлайн-обучением с подкреплением (Flow-GRPO). - Изучать архитектуру лёгких DiT: разобрать открытый код обучения на потребительском железе и адаптировать пайплайн под свои датасеты.
Пример
sample_configs = [{
"prompt": "1girl, souryuu asuka langley, neon genesis evangelion, masterpiece, absurdres",
"negative_prompt": "very displeasing, displeasing, bad score",
"height": 512, "width": 512,
"sample_steps": 30, "cfg_scale": 6.0,
"shift": 1.0, "zoom": 1.0, "x_shift": 0.0, "y_shift": 0.0, "seed": 42,
}]
images = generate_samples(unet=model, text_encoder=text_encoder, tokenizer=tokenizer, vae=vae, schedule=schedule, sample_configs=sample_configs, diffusion_type="flow_matching", device=device, dtype=dtype, coord_system="aspect_norm", pixel_space=False)Подробнее
Рекомендуемые настройки: солвер Forward Euler ODE, 75 шагов, CFG Scale 9.0, Time Shift 3.0.Выбор чекпоинта: при 13 и более шагах быстрее латентная версия; Pixel DiT выигрывает при ≤ 8 шагах.
Ограничения: из-за размера 200M сложные позы рук могут требовать подбора seed; датасет содержит NSFW-контент (рейтинги g, s, q, e).
Лицензия: CreativeML Open RAIL++-M.










Comments