minipfn TabPFN-2.5 classifier

Это from-scratch воспроизведение классификатора TabPFN-2.5 от aiden-jeon: не официальный чекпоинт и без официального кода или весов. Модель использует архитектуру TabPFN v2 Transformer с четырьмя изменениями из отчёта TabPFN-2.5 и обучается на открытом TabICL prior.

💪 Ключевые особенности

• 🐱 14 335 306 параметров: 24 слоя, по 3 признака на токен и 64 learned thinking-строки.
• 👀 До 10 классов; обучение покрывало до 500 признаков и до 8 192 строк.
• 🔥 Инференс — ансамбль из 4 участников с one-hot для категорий до 20 категорий и softmax temperature 0.9.
• 👉 Промежуточные чекпоинты step-100k…step-500k лежат в ветках репозитория.

🍒 Пример

from minipfn import TabPFNv2_5Classifier

clf = TabPFNv2_5Classifier().fit(x_train, y_train)
proba = clf.predict_proba(x_test)
# proba: (n_test, n_classes), порядок колонок в clf.classes_

Подробнее

Mean ROC AUC 0.9343 на 29 датасетах AMLB — выше 0.9323 у TabPFN v2 paper.
TabArena-Lite: Elo 1436 и 21-е место из 99 методов; BeyondArena: Elo 1096.
Обучение заняло около 810 H100-часов; на крупных таблицах инференсу может не хватить 80 ГБ H100.
Только классификация; регрессор — отдельная модель. Во время prior-fitting было 13 коллапсов.