Energy-Tweedie
веса к статье NeurIPS 2026 по диффузионным моделям
2 мин чтенияобновлено
Набор PyTorch-чекпоинтов и конфигураций от Andrej Leban (University of Michigan) к статье для конференции NeurIPS 2026. Работа обобщает формулу Твиди для распределений шума Гиббса (Gibbs noise distributions), что позволяет оценивать градиенты плотности (score estimation) через апостериорные сэмплы и восстанавливать неизвестные параметры шума по зашумлённым данным. В репозитории выложены готовые модели для классических синтетических и базовых бенчмарков — Eight-Gaussians и MNIST. Пригодится исследователям и разработчикам, изучающим математические основы диффузионных моделей и методы сэмплирования.
Ключевые особенности
- Обобщение формулы Твиди: теоретический мост между энергетическими моделями, апостериорным сэмплированием и score-based диффузией.
- Четыре набора экспериментов: отдельные директории для оценки скора и сэмплирования, сравнения оценщиков (ET-DSM и Hyvärinen), восстановления параметров шума и генерации MNIST.
- Полная воспроизводимость: рядом с каждым чекпоинтом лежат готовые файлы конфигурации
config.yamlилиconfig.jsonдля ноутбуков и скриптов обучения.
Что можно сделать
- Воспроизвести эксперименты NeurIPS 2026: запустить генерацию сэмплов по пяти траекториям на MNIST или сравнить методы оценки скора на Eight-Gaussians.
- Оценивать параметры шума: использовать чекпоинты из
parameter_estimation/для изучения восстановления характеристик неизвестного шума по искажённым данным. - Адаптировать под свои исследования: взять за основу скрипты обучения и конфигурации из репозитория для тестирования Energy-Tweedie на собственных датасетах.
Пример
import torch
from huggingface_hub import hf_hub_download
from omegaconf import OmegaConf
from utils.mnist import build_mnist_engressor
cfg = OmegaConf.load(hf_hub_download("andleb/et", "mnist/posterior/config.yaml"))
ckpt = torch.load(hf_hub_download("andleb/et", "mnist/posterior/final.pt"), map_location="cpu", weights_only=True)
engressor = build_mnist_engressor(cfg, device="cpu")
engressor.model.load_state_dict(ckpt["model_state_dict"])
Подробнее
Датасеты: Eight-Gaussians и MNIST (пятипараметрическая апостериорная модель).Требования: PyTorch,
huggingface_hub, omegaconf и код из GitHub-репозитория andleb/et (в примере загрузка идёт на CPU).Лицензия: BSD 3-Clause.










Комментарии