Inference-Time-Derisking-in-Masked-Diffusion
контроль рисков в диффузионных LLM
2 мин чтенияобновлено
Исследователи из NYCU-MLLab выложили код и две обученные линейные «головы» (risk heads — компактные модули поверх основной нейросети) для метода REDACT (Risk-Evaluated Decoding At Commit-Time). Репозиторий решает задачу безопасности при генерации текста в masked diffusion языковых моделях (диффузионных LLM, которые восстанавливают замаскированный текст по шагам, а не пишут его строго слева направо). Во время декодирования REDACT оценивает риск топ-K вариантов подстановки токенов с учётом текущего уровня шума и выбирает более безопасный путь по одной траектории генерации. Чекпоинты работают поверх базовых моделей GSAI-ML/LLaDA-8B-Base и GSAI-ML/LLaDA-8B-Instruct, веса которых нужно скачать отдельно. Разработка пригодится исследователям безопасности ИИ и инженерам, работающим с диффузионными языковыми моделями.
Ключевые особенности
- Два специализированных модуля: отдельный чекпоинт для контроля токсичности (под
LLaDA-8B-Base) и вспомогательный модуль устойчивости к джейлбрейкам (подLLaDA-8B-Instruct). - Сверхлёгкая архитектура: каждая голова содержит всего 4 385 обучаемых параметров, принимает 4096-мерные признаки (pooled backbone features) и использует 8 корзин шума (noise bins) с 32-мерным эмбеддингом.
- Встроенная калибровка: в чекпоинтах уже сохранены откалиброванные пороги для каждой корзины шума, а на выходе выдаётся скалярная оценка риска через функцию softplus.
- Полный воспроизводимый архив: вместе с весами
bestиlastв релиз включены исходный код, логи обучения, конфигурации Hydra и контрольные суммыSHA256SUMS.
Что можно сделать
- Снизить токсичность генерации: подключить голову
time_dependent_mlp_best.ptкLLaDA-8B-Base, чтобы отсеивать нежелательные токены прямо во время диффузионного декодирования. - Усилить защиту от обхода фильтров: использовать вспомогательный чекпоинт
time_dependent_linear_best.ptсLLaDA-8B-Instructв пайплайнах оценки устойчивости к джейлбрейкам. - Интегрировать в свой код: загрузить лёгкую линейную голову напрямую через
linear_head.runtimeи получать оценку риска по готовым скрытым состояниям модели.
Пример
import torch
from linear_head.runtime import load_linear_checkpoint
head, _ = load_linear_checkpoint("checkpoints/linear_heads/time_dependent_mlp_best.pt", device=torch.device("cpu"))
# features: [batch, 4096], rho_idx: [batch] из диапазона [0, 7]
with torch.no_grad():
risk = head(features, rho_idx)["risk"]
Подробнее
Валидация (при целевом TPR 0.95): для чекпоинта токсичности (эпоха 23)macro_fpr_at_tpr = 0.0843, для джейлбрейк-модуля (эпоха 59) = 0.4660.Окружение: Linux, Python >= 3.12, CUDA 13.0 (ориентировано на GPU Hopper/H200, ставится через
uv sync --extra cu130).Ограничения: это исследовательский прокси-инструмент, который не гарантирует полную безопасность текста; чекпоинты для Dream и reward-моделей в релиз не входят.
Лицензия: исходный код распространяется под MIT, отдельная лицензия на веса в архивах не указана.










Комментарии