DeBiasLens
интерпретируемое устранение предвзятости в VLM
1 мин чтенияобновлено
Набор чекпоинтов разреженных автоэнкодеров (SAE — моделей, раскладывающих внутренние активации нейросети на понятные признаки) от исследователей из KAIST AI. Они обучены на внутренних представлениях визуальных и визуально-языковых энкодеров для анализа и корректировки социальных смещений (bias steering). В основе лежат популярные базовые модели: clip-vit-base-patch16, clip-vit-large-patch14-336, InternViT-300M-448px и llava-onevision-qwen2-7b-ov-hf. Инструмент пригодится исследователям интерпретируемости и разработчикам, работающим над снижением предвзятости мультимодальных моделей.
Ключевые особенности
- Архитектура Matryoshka BatchTopK SAE с параметром
k=20, обученная на остаточных активациях после MLP-слоёв. - Поддержка четырёх популярных энкодеров: двух версий CLIP, InternViT-300M и LLaVA-OneVision-Qwen2-7B.
- Разные коэффициенты расширения скрытого пространства (x1, x2, x4, x8) и обучение на датасетах fairface, celeba, bios, cocogender, cocogendertxt и sbbench-syn-crop.
- В каждой папке лежат готовые веса
ae.ptи файлconfig.json, а структура каталогов напрямую совместима с кодом обучения.
Что можно сделать
- Проанализировать внутренние признаки и социальные смещения в конкретных слоях CLIP (11 и 23), InternViT (23) или LLaVA-OneVision (25).
- Провести корректировку (steering) активаций VLM без переобучения всей базовой модели, опираясь на методику из статьи CVPR 2026.
Пример
from huggingface_hub import hf_hub_download
from dictionary_learning.trainers.matroyshka_batch_top_k import MatroyshkaBatchTopKSAE
path = hf_hub_download(
"kaist-ai/debiaslens",
"matroyshka_batch_top_k_20_x1/random_k_2/fairface_train_activations_clip-vit-large-patch14-336_23_post_mlp_residual_matroyshka_batch_top_k_20_x1/trainer_0/ae.pt",
)
sae = MatroyshkaBatchTopKSAE.from_pretrained(path)Подробнее
Публикация: CVPR 2026 (arXiv:2602.24014).Целевые слои: слой 11 (clip-vit-base-patch16), слой 23 (clip-vit-large-patch14-336, InternViT-300M-448px), слой 25 (llava-onevision-qwen2-7b-ov-hf).
Формат хранения: веса ae.pt и конфигурация config.json для библиотеки dictionary_learning.










Комментарии