Photon Memory
нейросетевой рендеринг освещения с адаптацией во время теста
2 min readupdated
Набор чекпоинтов для модели Photon Memory (код проекта renderTTT от автора ANABUR), которая предсказывает распределение света в задачах трассировки фотонов (метод расчёта сложного освещения в 3D-графике). Модель читает базу из 100 миллионов фотонов с помощью механизма TTT (test-time training — дообучение модели непосредственно во время инференса под конкретную сцену) и дополняет предсказание остаточными лепестками рассеивания. На тестовой сцене светильника Rough Flower она достигает показателя направленного NLL около −6.00, обходя базовый метод PureLight в режиме адаптации. Релиз пригодится исследователям и разработчикам в области 3D-графики и физически корректного рендеринга.
Ключевые особенности
- Включает 4 чекпоинта разного уровня: от базового мета-ридера
v3_ksched_model.pt(~0.7 МБ) до финальной связки с остаточной сетьюbig_match_res2c_best.pt(~42 МБ). - Поддерживает zero-shot режим (без дообучения на сцене) с показателем NLL ≈ −0.460, что соответствует уровню учителя PureLight.
- При последовательной адаптации (warm-start chain) с
k=512и памятью на 100 млн фотонов снижает NLL до −6.00. - В репозитории также приложены логи обучения и оценки (
logs/*.jsonl) для проверки воспроизводимости.
Что можно сделать
- Воспроизвести эксперименты по нейронному рендерингу сцены Rough Flower, используя парный датасет фотонов
ANABUR/photon-memory-photonsи скриптscripts/ttt_big.py. - Использовать компактный мета-ридер
v3_ksched_model.ptв качестве стартовой точки для быстрой адаптации под новые трассированные сцены на базе библиотекиlightmem.
Пример
import torch
from lightmem.models import PhotonKernel, ResidualLobes
sd = torch.load("checkpoints/big_match_res2c_best.pt", map_location="cpu")
reader = PhotonKernel(k=512, k_feat=True)
reader.load_state_dict(sd["reader"])
residual = ResidualLobes(K=32, finest=2048, log2_table=19)
residual.load_state_dict(sd["residual"])
Подробнее
Метрики на Rough Flower: zero-shot NLL ≈ −0.460, только ридер после TTT ≈ −0.53, финальный matched TTT + residual ≈ −6.00.Требования: для воспроизведения с памятью 1e8 и остаточной сетью требуется CUDA GPU с ~40 ГБ VRAM.
Ограничения: результат −6.00 достигается через matched test-time adaptation на остатке того же файла фотонов (11e6), а не в режиме zero-shot.










Comments