minipfn TabPFN-3.5
открытая репродукция табличного трансформера
2 min readupdated
Модель решает задачи классификации и регрессии на табличных данных с помощью in-context learning (обучения в контексте без дообучения весов на целевом датасете). Это написанная с нуля открытая репродукция архитектуры TabPFN-3.5 от автора aiden-jeon на 219M параметров (0.22B), обученная исключительно на синтетических данных из открытого генератора TabICL по трёхэтапной схеме TabICLv2. В отличие от многих табличных моделей, где под каждую задачу нужен отдельный чекпоинт, здесь один общий набор весов обслуживает сразу и классификацию, и регрессию. Пригодится ML-инженерам и исследователям, которым нужна полностью открытая альтернатива официальным весам Prior Labs для работы с таблицами.
Ключевые особенности
- Единый мультизадачный чекпоинт: из 219M параметров 204.5M являются общими для обеих задач, а разделены только входные энкодеры меток и выходные головы.
- Трёхступенчатая архитектура: последовательно обрабатывает ячейки (с преобразованием Фурье и ECDF-рангами), столбцы, строки и весь контекст через 24 слоя трансформера с QK-norm и QASSMax.
- Работа с крупными таблицами: при обучении модель видела до 60 000 строк и 100 признаков, а на инференсе поддерживает до 1 000 000 обучающих строк, 6 000 признаков и 160 классов.
- Стабилизация внимания: автор добавил soft-cap на логиты внимания (ограничение значением 50 через tanh), чтобы избежать схлопывания внимания при длительном обучении.
Что можно сделать
- Решать задачи классификации: подать pandas DataFrame с числовыми и категориальными признаками в
TabPFNv3_5Classifierи получить вероятности классов без градиентного бустинга. - Прогнозировать непрерывные значения: использовать
TabPFNv3_5Regressorдля регрессии на тех же весах, получая среднее по предсказанному распределению. - Экономить память при двух задачах: загрузить веса один раз через
from_pretrainedи передать общий объект модели одновременно в классификатор и регрессор.
Пример
from minipfn import TabPFNv3_5Classifier, TabPFNv3_5Regressor
clf = TabPFNv3_5Classifier(device="cuda").fit(x_train, y_train)
proba = clf.predict_proba(x_test)
reg = TabPFNv3_5Regressor(device="cuda").fit(x_train, y_train)
pred = reg.predict(x_test)
Подробнее
Метрики: на бенчмарке TabPFN v2 средний ROC AUC составил 0.9371 (выше 0.9323 из статьи TabPFN v2), геометрическое среднее отношения RMSE — 1.005.Арены: 1556 Elo на TabArena-Lite (16-е место из 99, превосходит дефолтный XGBoost на 90% сплитов) и 1139 Elo на BeyondArena (против 1375 у официального TabPFN-3.5).
Железо и скорость: обучение заняло около 2 800 H100-часов (32×H100); на GPU используется ядро FlexAttention (в 1.3–2.2 раза медленнее обычного SDPA на 10k–30k строках, первый вызов компилируется ~20 сек).
Ограничения: модель видела только синтетику и слабее выступает на очень больших таблицах, временных разбиениях и категориях с высокой кардинальностью.










Comments