OLMo-2-0425-1B-Instruct_diag_fisher
эмпирическая диагональ Фишера для OLMo-2 1B
2 min readupdated
В этом репозитории лежат не веса языковой модели, а производный исследовательский артефакт — оценка эмпирической диагонали информационной матрицы Фишера (статистики кривизны функции потерь по параметрам сети). Расчёт выполнен для 112 матриц проекций внимания и MLP во всех 16 слоях модели allenai/OLMo-2-0425-1B-Instruct на выборке из 10 004 085 токенов (2 443 последовательности по 4 096 токенов) из датасета allenai/dolmino-mix-1124. В отличие от самой LLM, эти тензоры нельзя загрузить через AutoModelForCausalLM для генерации текста — они нужны исследователям для анализа чувствительности весов, квантизации, прунинга или методов определения обучающих данных (membership inference) с предварительной регуляризацией.
Ключевые особенности
- Точный охват параметров: в файл
diagonal.safetensorsвошли только матрицыq_proj,k_proj,v_proj,o_projиgate_proj,up_proj,down_projдля слоёв0..15— всего 112 тензоров и 1 073 741 824 значений в форматеfloat32(без эмбеддингов, layer norm иlm_head). - Чистый расчёт по последовательностям: градиенты вычислялись в BF16 по одному проходу forward/backward на каждую из 2 443 последовательностей, переводились в
float32, возводились в квадрат и усреднялись без клиппинга или демпфирования. - Сбалансированная выборка: данные собраны из 15 378 уникальных документов шести источников (DCLM — 47.2%, Math — 20.8%, FLAN — 16.6%, Wiki — 7.11%, peS2o — 5.85%, StackExchange — 2.45%) с проверкой отсутствия точных совпадений хэшей с бенчмарком
OLMo-Detect. - Траектория сходимости в комплекте: вместе с весами опубликованы
convergence_trace.json,five_to_ten_million.jsonи готовые для графиков CSV-файлы со сравнением оценок на 5M и 10M токенов.
Что можно сделать
- Использовать значения кривизны в экспериментах по прунингу, квантизации или непрерывному обучению (continual learning) модели
OLMo-2-0425-1B-Instructпосле подбора собственного регуляризатора. - Изучить послойную динамику сходимости эмпирического Фишера на срезах 5M и 10M токенов по готовым таблицам
global_trace.csvиlayer_five_to_ten.csv. - Построить предобуславливатель для экспериментов с влиянием обучающих примеров (IF-MIA), предварительно добавив демпфирование для защиты от деления на околонулевые элементы.
Пример
from safetensors import safe_open
with safe_open('diagonal.safetensors', framework='pt', device='cpu') as f:
key = 'model.layers.0.self_attn.q_proj.weight'
fisher_diag = f.get_tensor(key)
print(key, fisher_diag.shape, fisher_diag.dtype)
Подробнее
Сходимость 5M к 10M токенов: глобальное косинусное сходство 0.9987604, относительная L2-разница 0.0558425 (в слоях 0–3 — 0.1522–0.2534, в слоях 4–15 — 0.02812–0.06363).Размер файла: 4.29 ГБ (4 294 980 416 байт), SHA-256 зафиксирован в
final_integrity.json.Железо расчёта: 1× NVIDIA H100 80GB (PyTorch 2.11.0+cu130, Transformers 5.12.1).
Ограничения: это не инвертированная матрица Фишера и не веса модели; перед делением на элементы диагонали обязательна регуляризация, отдельная лицензия на производный тензор не назначена.










Comments