synaptic-lens-adder
модели для интерпретации нейросетей на задачах арифметики
2 min readupdated
Набор исследовательских чекпоинтов от Дэниела Джексона из проекта Synaptic Lens, предназначенный для изучения внутреннего устройства нейросетей (механистической интерпретируемости). Модели решают задачу анализа других сетей, обученных арифметическим операциям (сложению): они принимают на вход веса, смещения (biases), арифметические запросы и активации, выдавая оценки вероятностей и данные для анализа работы целевой модели. В релиз вошли две контрольные точки развития SYN53 и три модели SYN88, обученные на протяжении всего жизненного цикла целевых сетей. Инструмент пригодится исследователям ИИ, изучающим, как именно нейросети кодируют и вычисляют математические операции внутри своих слоёв.
Ключевые особенности
- Включает два одобренных чекпоинта SYN53 (финальный апдейт 115200 включает 12800 дополнительных шагов обучения) и три модели SYN88 (сиды 7, 17 и 27 на шагах 19000 и 17000).
- Модели SYN88 работают не только с весами: они анализируют канонические веса, смещения, сами арифметические запросы и выровненные по ним активации.
- Загрузчик формата NPZ для SYN88 принимает только числовые массивы, отклоняет объектные массивы и требует максимальной точности вычислений FP32 на CUDA.
- Чекпоинты экспортированы в режиме только для инференса (без состояний оптимизатора и генераторов случайных чисел), каждый тензор побитово сверен с оригиналом по хешам.
- Распространяется строго для академических и исследовательских целей по лицензиям AI Pubs Research-use RAIL-M и RAIL-S 0.1.
Что можно сделать
- Воспроизвести эксперименты автора по локализации внимания и оценке вероятностей в сетях, решающих задачи сложения.
- Проанализировать динамику обучения целевых моделей (опубликованных отдельно в
danielrjackson/synaptic-lens-targets-adder) с помощью готовых чекпоинтов SYN88. - Использовать экспортированные веса как базовую точку для собственных исследований в области анализа весов и активаций нейросетей в рамках репозитория
synaptic-lens.
Пример
В карточке не приведён готовый скрипт запуска, но указаны требования к загрузке: для загрузки инференс-экспортов через публичный загрузчик проекта synaptic-lens (ревизия 544d54c) используется параметр inference_export=True, а для моделей SYN88 применяется строгий числовой загрузчик NPZ с обязательным режимом точности FP32 на GPU (CUDA). Подробные форматы входных данных описаны в документации основного GitHub-репозитория.
Подробнее
Ограничения: запечатанный тестовый набор (holdout) SYN53 и входные данные для оценки в релиз не включены; исторические тестовые корни (TEST roots) уже использовались ранее, поэтому это не свежая валидация.Обучение: SYN53 продолжает более ранний чекпоинт SYN51 автора; внешние предобученные веса и сторонние датасеты не использовались.
Особенности моделей: SYN53 улучшила оценки вероятностей по сравнению с предыдущими версиями, но не обеспечила надёжную локализацию запросов.
Железо: для SYN88 требуется видеокарта с поддержкой CUDA и работа в полной точности FP32.










Comments