fittingcorpus
карты якобианов для интерпретации моделей Pythia
2 мин чтенияобновлено
Набор научных артефактов для статьи к воркшопу Interpretability as a Science на конференции NeurIPS 2026 от автора Tarush Gupta. Репозиторий содержит 380 обученных карт Jacobian lens (метод анализа внутренних слоёв нейросети через производную финального скрытого состояния по промежуточному слою, усреднённую по корпусу текстов) и 193 файла с результатами экспериментов. Исследование проверяет, насколько сильно выбор текстового корпуса для усреднения влияет на то, что именно считывает линза в моделях семейства Pythia объёмом от 70M до 2.8B параметров. Релиз пригодится исследователям механистической интерпретируемости LLM, которые хотят воспроизвести расчёты из работы или проверить собственные гипотезы на готовых матрицах без повторного прогона.
Ключевые особенности
- 380 готовых карт в fp32: матрицы рассчитаны с помощью эталонной реализации
anthropics/jacobian-lensс отключённым TF32 для разных размеров моделей Pythia (от 70M до 2.8B), чекпоинтов обучения и корпусов. - Строгая воспроизводимость: каждый файл результатов содержит блок
provenanceс хешами SHA-256 входных данных, коммитом и командой запуска, а для 222 карт приложены отдельные JSON-файлы с конфигурацией. - Манифесты корпусов без лишнего веса: сами тексты третьих лиц не распространяются из-за лицензий, но в папке
corpora/лежат манифесты с точными хешами, количеством документов и диапазонами сидов для сборки датасетов скриптами из основного репозитория. - Открытая лицензия CC BY 4.0: все сгенерированные карты и замеры можно свободно использовать в исследованиях с указанием авторства.
Что можно сделать
- Пересчитать статистику из статьи: скачать только лёгкие JSON-результаты (около 8 МБ) и запустить тир
T0для проверки всех цифр из публикации. - Прогнать оценку на CPU: загрузить полный архив карт (16.2 ГБ) с автоматической проверкой хешей и заново выполнить скоринг в режиме
T1без необходимости в мощных GPU. - Сравнить влияние корпусов: использовать готовые матрицы из папок
e28,pladиe48, чтобы изучить разброс интерпретаций между разными выборками текстов и размерами моделей.
Пример
git clone [https://github.com/tarush-ai/fittingcorpus](https://github.com/tarush-ai/fittingcorpus) && cd fittingcorpus
uv sync && bash repro/01_setup_local.sh
bash repro/04_fetch_results.sh # results/*.json, около 8 МБ
bash repro/RUN_ALL.sh --tier T0 # пересчёт всей статистики из статьи
bash repro/03_fetch_artifacts.sh --all # загрузка 16 ГБ карт с проверкой хешей
bash repro/RUN_ALL.sh --tier T1 # повторный скоринг на CPU
Подробнее
Объём артефактов: 382 файла.pt (16.2 ГБ — 380 карт и 2 кэша активаций) и 193 основных JSON-отчёта.Охват моделей: линейка EleutherAI Pythia от 70M до 2.8B параметров, включая промежуточные чекпоинты обучения (E65).
Железо: повторный скоринг карт (
--tier T1) выполняется на CPU.Ограничения: исходные тексты корпусов в репозиторий не включены и пересобираются отдельно через
repro/06_data.sh --build.









Комментарии