SANA-Video 2.0 Style V2V LoRA c20

LoRA rank 32 для SANA-Video 2.0 5B 720p 4-step от Josh Hughes. Перекрашивает короткое видео в один из 20 обученных стилей, сохраняя движение источника: на вход подаются исходное видео, стилизованный первый кадр и промпт. Лицензия Apache-2.0.

👀 Ключевые особенности

• 👀 20 стилей: storybook, pixel art, anime, stained glass, oil paint, synthwave и другие.
• 🐾 Держит стиль по всему клипу: 191/200 на held-out restyles по CLIP против 95/200 без style-тренировки.
• 💪 Два расписания по 3 вызова: s2x рекомендуется для 17 стилей, stage 1 — для puppet, blueprint и origami.
• 😐 Это re-render, а не фильтр: лица и мелкие детали могут меняться; объектные правки вроде «добавь шляпу» не поддерживаются.
• 🍒 Также умеет picture-to-video, унаследовано от f3.

🍒 Пример

import sys; sys.path.insert(0, 'eval')
import sana_video2_lora as L, json
looks = json.load(open('eval/looks.json'))
model = L.load_model('SANA_Video_2.0_5B_720p_4step.pth', device='cuda')
L.apply_lora(model, 'sana-video2-5b-4step-style-v2v-c20.safetensors')
src = L.read_video('source.mp4')
first = L.read_picture('source_first_frame_styled.png')
# schedule: looks['stainedglass']['schedule']

Подробнее

База: SANA-Video 2.0 5B 720p 4-step (4.47B, DMD student), LoRA rank 32 / alpha 32, 32 млн параметров, 128 МБ float32.
CLIP style-hold: 191/200 против 95/200 без style-тренировки; с s2x — 171/200 против 30/200.
Движение: direction agreement 0.958 у s2x, end-point error 0.426 px/frame.
Обучение только на проверенных парах, сгенерированных самой SANA-Video 2.0; реальные видео и другие видеомодели не использовались.
Ограничения: объектные правки не работают, пиксель-точное сохранение источника не гарантируется, лица и мелкие детали могут меняться.