К содержимому
Другое

fittingcorpus

карты якобианов для интерпретации моделей Pythia

2 мин чтенияобновлено

Набор научных артефактов для статьи к воркшопу Interpretability as a Science на конференции NeurIPS 2026 от автора Tarush Gupta. Репозиторий содержит 380 обученных карт Jacobian lens (метод анализа внутренних слоёв нейросети через производную финального скрытого состояния по промежуточному слою, усреднённую по корпусу текстов) и 193 файла с результатами экспериментов. Исследование проверяет, насколько сильно выбор текстового корпуса для усреднения влияет на то, что именно считывает линза в моделях семейства Pythia объёмом от 70M до 2.8B параметров. Релиз пригодится исследователям механистической интерпретируемости LLM, которые хотят воспроизвести расчёты из работы или проверить собственные гипотезы на готовых матрицах без повторного прогона.

Ключевые особенности

  • 380 готовых карт в fp32: матрицы рассчитаны с помощью эталонной реализации anthropics/jacobian-lens с отключённым TF32 для разных размеров моделей Pythia (от 70M до 2.8B), чекпоинтов обучения и корпусов.
  • Строгая воспроизводимость: каждый файл результатов содержит блок provenance с хешами SHA-256 входных данных, коммитом и командой запуска, а для 222 карт приложены отдельные JSON-файлы с конфигурацией.
  • Манифесты корпусов без лишнего веса: сами тексты третьих лиц не распространяются из-за лицензий, но в папке corpora/ лежат манифесты с точными хешами, количеством документов и диапазонами сидов для сборки датасетов скриптами из основного репозитория.
  • Открытая лицензия CC BY 4.0: все сгенерированные карты и замеры можно свободно использовать в исследованиях с указанием авторства.

Что можно сделать

  • Пересчитать статистику из статьи: скачать только лёгкие JSON-результаты (около 8 МБ) и запустить тир T0 для проверки всех цифр из публикации.
  • Прогнать оценку на CPU: загрузить полный архив карт (16.2 ГБ) с автоматической проверкой хешей и заново выполнить скоринг в режиме T1 без необходимости в мощных GPU.
  • Сравнить влияние корпусов: использовать готовые матрицы из папок e28, plad и e48, чтобы изучить разброс интерпретаций между разными выборками текстов и размерами моделей.

Пример

git clone [https://github.com/tarush-ai/fittingcorpus](https://github.com/tarush-ai/fittingcorpus) && cd fittingcorpus
uv sync && bash repro/01_setup_local.sh
bash repro/04_fetch_results.sh            # results/*.json, около 8 МБ
bash repro/RUN_ALL.sh --tier T0           # пересчёт всей статистики из статьи
bash repro/03_fetch_artifacts.sh --all    # загрузка 16 ГБ карт с проверкой хешей
bash repro/RUN_ALL.sh --tier T1           # повторный скоринг на CPU
ПодробнееОбъём артефактов: 382 файла .pt (16.2 ГБ — 380 карт и 2 кэша активаций) и 193 основных JSON-отчёта.
Охват моделей: линейка EleutherAI Pythia от 70M до 2.8B параметров, включая промежуточные чекпоинты обучения (E65).
Железо: повторный скоринг карт (--tier T1) выполняется на CPU.
Ограничения: исходные тексты корпусов в репозиторий не включены и пересобираются отдельно через repro/06_data.sh --build.
Обсудить Telegram 0

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 0.4 GB · готовые файлы0.9 GB
  • FP8 / INT8рекомендуемвеса 0.2 GB0.7 GB
  • 4-bitвеса 0.1 GB0.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Tarush-AI/fittingcorpus
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Tarush-AI/fittingcorpus --local-dir ~/models/fittingcorpus
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к fittingcorpus
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии fittingcorpus — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Tarush-AI/fittingcorpus
Автор
Tarush-AI
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии