SWIFT Step Probe for Qwen3-8B
верификатор шагов рассуждения
2 мин чтенияобновлено
Эта модель представляет собой лёгкий верификатор шагов (step verifier) с линейной головой на 32 770 параметров, работающий на основе замороженной базовой модели Qwen/Qwen3-8B. Инструмент предназначен для оценки пошаговых решений математических задач и логических проблем, вычисляя награду для каждого шага и находя самую первую ошибку в цепочке рассуждений. Решение опирается на методологию SWIFT и тренировано на датасетах PRM800K для анализа чужих генераций. Модель пригодится исследователям и разработчикам, которые занимаются улучшением надёжности и проверяемости больших языковых моделей (LLM).
Ключевые особенности
- Лёгкая линейная голова (всего 32,770 параметров) поверх замороженной Qwen3-8B.
- Анализ последних четырёх скрытых состояний (слои 33–36) для оценки каждого шага решения.
- Предсказание первой ошибочной позиции в пошаговом рассуждении или возврат минус единицы, если ошибок нет.
- Обучение на фильтрованных данных PRM800K с пошаговой кросс-энтропией (step-level BCE).
Что можно сделать
- Оценивать пошаговые решения математических задач, созданных другими LLM, в бенчмарках вроде ProcessBench.
- Интегрировать верификатор в пайплайны оценки качества генерации (PRM — Process Reward Model).
- Запускать скрипты оценки через репозиторий SWIFT с использованием локальных весов и конфигурации.
Пример
git clone -b step-probe [https://github.com/aster2024/SWIFT.git](https://github.com/aster2024/SWIFT.git) && cd SWIFT
python step/eval_processbench.py Qwen/Qwen3-8B out.jsonПодробнее
Бенчмарки: средний F1 28.9 на сиде 42 (GSM8K: 36.8, MATH: 31.5, OlympiadBench: 23.9, Omni-MATH: 23.6).Требования: работает поверх Qwen/Qwen3-8B с порогом активации 0.45.
Обучение: 1 эпоха, AdamW (lr 1e-4, weight decay 1e-5), до 16384 токенов на батч.










Комментарии