CausalPFN-ATE-CATE
готовый инференс и бенчмарк для оценки причинно-следственного эффекта
2 min readupdated
Независимая сборка для запуска и оценки официальной модели CausalPFN (предобученной нейросети для оценки причинно-следственных эффектов через обучение в контексте). Репозиторий от автора fuyao11 использует оригинальный чекпоинт causalpfn_v0.pt без дообучения или изменения весов, но добавляет удобную обёртку для инференса и набор бенчмарков. На выходе модель даёт точечные оценки среднего эффекта воздействия (ATE) и условного индивидуального эффекта для конкретных признаков (CATE), а также нативные 95% доверительные интервалы. Пригодится исследователям и дата-сайентистам в задачах A/B-тестирования, эконометрики и анализа наблюдательных данных без необходимости обучать модель с нуля.
Ключевые особенности
- Оригинальные веса без изменений: внутри используется официальный чекпоинт
causalpfn_v0.ptс проверкой хеша SHA-256 и ссылкой на исходную ревизию. - Готовый рантайм и воспроизводимость: в репозиторий включены скрипты для быстрого старта на CPU, архивы с генераторами синтетических данных и эталонными результатами.
- Сравнение с Random Forest (RF): проведено тестирование на 1 000 таблиц по метрикам Bias, SE, RMSE, ширине интервала и покрытию (Coverage) на выборках
idиood. - Удобство для пайплайнов: класс
Predictorможно инициализировать один раз и переиспользовать для серии запросов по входным даннымX,TиY.
Что можно сделать
- Оценить эффект от внедрения фичи или терапии на табличных наблюдательных данных (
X, T, Y) с получением точечной оценки и доверительного интервала. - Использовать архив воспроизведения как готовый стенд для сравнения нейросетевого подхода CausalPFN с классическим Random Forest на синтетических датасетах.
- Встроить класс
Predictorв аналитический сервис или бенчмарк-арену для быстрого потокового расчёта ATE и CATE.
Пример
python -m pip install -r arena_n500/requirements.txt
python arena_n500/predict.py --verify-only
python arena_n500/quickstart.py
Подробнее
Бенчмарк (1 000 таблиц, splitid / ood): RMSE для ATE составил 0.1211 / 0.0700 (против 0.1446 / 0.1197 у RF), для CATE — 0.3216 / 0.1940 (против 0.6314 / 0.3474 у RF).Покрытие (Coverage) для ATE остаётся ниже 95% (
76.83% / 78.61%), а 100% покрытие для CATE достигается за счёт широких интервалов (6.4158 / 3.9290).Среда и железо: поддерживается Python 3.10–3.13, базовый пример запускается на CPU; время расчёта в таблице указано с учётом построения интервалов (для RF при B=100).
Ограничения: отдельных адаптеров или калибровки нет; входной контракт принимает только
X, T, Y и фиксированный запрос без переменных-медиаторов.









Comments