DeltaRegion
локальное редактирование 3D-головы по тексту
2 min readupdated
DeltaRegion — модель от исследователей из UPC и IRI CSIC-UPC (часть работы ManifoldSplat, GCPR 2026), которая меняет геометрию 3D-модели головы FLAME 2020 по короткому текстовому запросу на английском языке. На вход подаются исходные 300 коэффициентов формы и команда вроде "make the nose long", а на выходе за один прямой проход получается обновлённая форма и вероятности выбора области лица. В основе лежит условный VAE (вариационный автоэнкодер) на 348M параметров, где текстовым энкодером выступает замороженный Flan-T5-Large (341,2M), а за прогнозирование дельты формы отвечают обученные модули на 6,8M параметров. В отличие от глобальных модификаций, встроенный механизм гейтинга удерживает изменения строго внутри указанной зоны — лица, носа, губ, ушей, шеи или глаз — не затрагивая мимику, позу и текстуры. Пригодится разработчикам 3D-аватаров, исследователям компьютерного зрения и тем, кто работает с анимируемыми 3D Gaussian Splatting моделями.
Ключевые особенности
- Точечная локализация: изменения применяются только к одной из 6 выбранных областей (face, nose, lips, ears, neck, eyes) без деформации соседних черт.
- Регулировка силы эффекта: интенсивность правки можно менять как словами в промпте (slightly, very), так и непрерывным параметром
prior_scale. - Быстрый инференс: работает детерминированно за один проход, а веса
Flan-T5-Largeуже вшиты в чекпоинт (1,39 ГБ в fp32) и не требуют отдельных загрузок. - 129 прототипов правок: модель обучена на 580 500 синтетических триплетах, охватывающих разные формы носа, подбородка, скул, разреза глаз и губ.
Что можно сделать
- Кастомизировать 3D-аватары: пошагово менять черты лица (например, сначала форму носа, затем толщину губ) для подготовки геометрии перед рендерингом в 3D Gaussian Splatting.
- Дорабатывать трекинг лица: корректировать 300-мерные коэффициенты формы FLAME, полученные из трекеров вроде MICA, сохраняя исходную мимику и поворот головы.
- Генерировать вариации датасетов: программно создавать серии морфологических изменений на базе нейтральной или пользовательской 3D-головы с разной степенью выраженности.
Пример
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained("a-canela/DeltaRegion", revision="v1.0", trust_remote_code=True).eval()
out = model.edit("make the nose long", prior_scale=1.2)
edited_betas = out.pred_shape # (1, 300) коэффициенты формы FLAME 2020
print(model.region_probabilities(out.gate))Подробнее
Параметры: 348,0M (341,2M замороженный Flan-T5-Large + 6,8M обучаемые головы), вес файла 1,39 ГБ (fp32).Обучение: 100 эпох (лучший чекпоинт на 71-й) на одной NVIDIA RTX 5090 за ~40 часов на 580 500 синтетических примерах (база LYHM + MICA).
Ограничения: только английский язык; один регион за один вызов (составные запросы нужно применять последовательно); значение
prior_scale рекомендуется держать в пределах [0.5, 2].Лицензия: CC BY-NC 4.0 (только некоммерческое использование; для перевода коэффициентов в 3D-меш требуются файлы FLAME 2020 с отдельной регистрацией).










Comments