DeltaRegion — модель от исследователей из UPC и IRI CSIC-UPC (часть работы ManifoldSplat, GCPR 2026), которая меняет геометрию 3D-модели головы FLAME 2020 по короткому текстовому запросу на английском языке. На вход подаются исходные 300 коэффициентов формы и команда вроде "make the nose long", а на выходе за один прямой проход получается обновлённая форма и вероятности выбора области лица. В основе лежит условный VAE (вариационный автоэнкодер) на 348M параметров, где текстовым энкодером выступает замороженный Flan-T5-Large (341,2M), а за прогнозирование дельты формы отвечают обученные модули на 6,8M параметров. В отличие от глобальных модификаций, встроенный механизм гейтинга удерживает изменения строго внутри указанной зоны — лица, носа, губ, ушей, шеи или глаз — не затрагивая мимику, позу и текстуры. Пригодится разработчикам 3D-аватаров, исследователям компьютерного зрения и тем, кто работает с анимируемыми 3D Gaussian Splatting моделями.
Ключевые особенности
Точечная локализация: изменения применяются только к одной из 6 выбранных областей (face, nose, lips, ears, neck, eyes) без деформации соседних черт.
Регулировка силы эффекта: интенсивность правки можно менять как словами в промпте (slightly, very), так и непрерывным параметром prior_scale.
Быстрый инференс: работает детерминированно за один проход, а веса Flan-T5-Large уже вшиты в чекпоинт (1,39 ГБ в fp32) и не требуют отдельных загрузок.
129 прототипов правок: модель обучена на 580 500 синтетических триплетах, охватывающих разные формы носа, подбородка, скул, разреза глаз и губ.
Что можно сделать
Кастомизировать 3D-аватары: пошагово менять черты лица (например, сначала форму носа, затем толщину губ) для подготовки геометрии перед рендерингом в 3D Gaussian Splatting.
Дорабатывать трекинг лица: корректировать 300-мерные коэффициенты формы FLAME, полученные из трекеров вроде MICA, сохраняя исходную мимику и поворот головы.
Генерировать вариации датасетов: программно создавать серии морфологических изменений на базе нейтральной или пользовательской 3D-головы с разной степенью выраженности.
Пример
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained("a-canela/DeltaRegion", revision="v1.0", trust_remote_code=True).eval()
out = model.edit("make the nose long", prior_scale=1.2)
edited_betas = out.pred_shape # (1, 300) коэффициенты формы FLAME 2020
print(model.region_probabilities(out.gate))
ПодробнееПараметры: 348,0M (341,2M замороженный Flan-T5-Large + 6,8M обучаемые головы), вес файла 1,39 ГБ (fp32). Обучение: 100 эпох (лучший чекпоинт на 71-й) на одной NVIDIA RTX 5090 за ~40 часов на 580 500 синтетических примерах (база LYHM + MICA). Ограничения: только английский язык; один регион за один вызов (составные запросы нужно применять последовательно); значение prior_scale рекомендуется держать в пределах [0.5, 2]. Лицензия: CC BY-NC 4.0 (только некоммерческое использование; для перевода коэффициентов в 3D-меш требуются файлы FLAME 2020 с отдельной регистрацией).
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# a-canela/DeltaRegion
mkdir -p ~/models
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv tool install "huggingface_hub[cli]"
hf download a-canela/DeltaRegion --local-dir ~/models/DeltaRegion
# Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
Комментарии