Bhaav-E

Bhaav-E от Mohit генерирует двухсекундные зацикленные стикеры по текстовому промпту. Это latent video diffusion transformer на 211,92M параметров, обученный с нуля с rectified flow в латентном пространстве замороженного Wan2.2 VAE и с условием от Flan-T5-Base.

⚙ Ключевые особенности

• ⚙ 211,92M параметров: 16 transformer blocks, width 768, 12 heads, патчи 2×2.
• 🎨 Выход: 17 кадров, 256×256, 8 fps, 2-секундный loop.
• 🔄 Замороженные компоненты: Wan2.2 VAE с 48 latent channels и Flan-T5-Base с лимитом 35 токенов.
• 🚀 Сэмплер: 50 Euler steps, classifier-free guidance 3.0; есть Colab-демо.
• ✅ Лицензия MIT; промпты на английском по схеме subject, motion, effect, background.

⌨ Пример

import sys; sys.path.insert(0, "space")
from bhaav import Bhaav, save_gif

pipe = Bhaav()
frames = pipe.generate("a crying emoji bouncing, tears falling, light blue background", steps=50, cfg=3.0, seed=0)
save_gif(frames, "sticker.gif")

Подробнее

Ошибка по атрибутам: 2,0% на комбинациях из обучения и 3,3% на отложенных; у baseline r1 — 2,0% и 5,3%, разница на unseen статистически незначима (p = 0,23).
Обучение: 61 571 из 85 816 процедурно отрендеренных клипов, около 3,6 часа на 1× NVIDIA RTX PRO 4500 (32 ГБ).
Ограничения: закрытый словарь — 30 субъектов, 12 эффектов и 12 фонов; разрешение 256×256 и длительность 2 секунды; иногда добавляет незапрошенные эффекты.