DiffusionGemma 2: Latent Code Graph Adapters
адаптеры для работы с графами кода
2 мин чтенияобновлено
Набор обученных LoRA-адаптеров (небольших надстроек над базовой моделью), входных модулей, голов считывания и базовых чекпоинтов от автора bumblebeers для модели google/diffusiongemma-26B-A4B-it. Репозиторий посвящён задаче представления и обработки графов вызовов абстрактных синтаксических деревьев (AST) размером 16x16 и непрерывных векторных представлений символов в латентном пространстве модели. На выходе система позволяет преобразовывать латентные визуальные токены в изображения разрешением 768×768 или работать с пространственными представлениями символов и кода. Материалы пригодятся исследователям архитектур диффузионных мультимодальных моделей и разработчикам, изучающим работу с графовыми структурами кода.
Ключевые особенности
- Адаптеры для графов AST (Experiment A): веса LoRA на 150M параметров и модуль
DualReadoutSoftCanvasHead(7.00M параметров), обученные на матрицах смежности графов вызовов 16x16 при замороженном визуальном энкодере SigLIP. - Модуль рефакторинга векторов символов (Experiment B): модификация с входным адаптером
SymbolVectorInputAdapter(LayerNorm(384) + Linear(384, 2816)с RMS matching), который проецирует непрерывные векторы символов напрямую в пространство soft-токенов модели. - Отдельный декодер изображений: чекпоинт
ImageDecoderна 34.15M параметров (архитектура ViT+Conv), восстанавливающий RGB-изображения 768×768 из непрерывных визуальных латентных токенов. - Дистиллированные пространственные модели-учителя: чекпоинты
ContextualizedSpatialMLPи предвычисленные целевые тензоры вероятностей для оценки распределения словаря по пространственным патчам.
Что можно сделать
- Запустить и сравнить поведение LoRA-адаптеров (сиды 42 и 1337) против контрольного замороженного чекпоинта
cg_frozen_dg_ep3_slim_ckpt.pt.gzпри обработке графов вызовов AST. - Использовать
SymbolVectorInputAdapterвместе с LoRA-проекциями внимания и MLP для подачи непрерывных векторных представлений символов вgoogle/diffusiongemma-26B-A4B-it. - Восстанавливать RGB-изображения разрешением 768×768 из латентных представлений с помощью автономного декодера
parent_frozen/decoder.pt. - Проводить сравнительные эксперименты между диффузионными адаптерами и недиффузионными пространственными трансформерами (
expA_nondg/иexpB_nondg/на 26.8M параметров).
Пример
В карточке не приведён готовый сниппет инференса, но перечислены конкретные файлы чекпоинтов для загрузки в код проекта (исходники доступны в связанном GitHub-репозитории автора): например, expA_dg/cg_lora_dg_seed42_ep3_slim_ckpt.pt.gz (LoRA-адаптер на 150M параметров для графов AST 16x16), expB_dg/cg_expB_lora_dg_seed42_ep3_slim_ckpt.pt.gz (адаптер для непрерывных векторов символов) и parent_frozen/decoder.pt (декодер 768×768).
Подробнее
Базовая модель: google/diffusiongemma-26B-A4B-it (26B параметров) с замороженной башней SigLIP.Обучение адаптеров в Experiment A и B: 3 эпохи, 4 824 шага, размерность проекций 2816 → 1152 (в Exp A) и 2816 → 384 (в Exp B).
Контрольные недиффузионные бейзлайны: 26.8M параметров с модуляцией инструкций AdaLN.
Лицензия: Apache 2.0.










Комментарии