Solvformer
компактный трансформер для решения задач через код
2 мин чтенияобновлено
Модель читает текстовую математическую задачу на английском языке, пишет для неё решение в виде программы на Python и запускает её, чтобы получить точный числовой ответ. Это компактный encoder-decoder (кодировщик-декодировщик) трансформер на 74.5M параметров от автора DanilLis, написанный и обученный полностью с нуля на чистом PyTorch без использования предобученных весов. В отличие от крупных языковых моделей, Solvformer работает локально и очень быстро, опираясь на генерацию нескольких вариантов кода и голосование между ними. Подойдёт исследователям, студентам и разработчикам, которым интересен лёгкий подход к решению школьной арифметики через синтез программ.
Ключевые особенности
- Архитектура encoder-decoder (9+9 слоёв, размерность 512, 8 голов внимания) с общим byte-level BPE токенизатором на 16k токенов для текста и кода.
- Обучена с нуля на 11.8M пар «вопрос и программа» из датасета SlavaYus/tinysms_qa_12m без опоры на сторонние базовые модели.
- Поддерживает голосование по нескольким сгенерированным программам (majority voting), что повышает точность с 71.85% до 75.70% на валидации.
- Высокая скорость работы: обработка 1919 тестовых вопросов с генерацией 12 кандидатов на каждый занимает 140 секунд на одной видеокарте T4.
Что можно сделать
- Встроить в лёгкий локальный сервис или учебный скрипт для автоматического решения коротких текстовых задач на английском с проверкой через исполнение кода.
- Использовать открытый код и веса как понятный референс для экспериментов с обучением трансформеров с нуля на чистом PyTorch и методом голосования программ.
Пример
git clone [https://github.com/dsnillisienko/hse-nlp.git](https://github.com/dsnillisienko/hse-nlp.git) solvformer
cd solvformer && pip install -e .
hf download DanilLis/solvformer avg.pt tokenizer.json --local-dir weights
python -m solvformer.solve --ckpt weights/avg.pt --tokenizer weights/tokenizer.json \
"A pack has 12 pencils. Tom buys 3 packs and gives away 7 pencils. How many pencils does he have left?"
Подробнее
Метрика pass@1 (допуск 1e-6): 71.85% при жадной генерации и 75.70% при голосовании по 12 программам на валидации (2000 вопросов); 78.44% на тесте (960 вопросов) в fp16 на T4.Обучение: 9 часов с нуля и 7.5 часа дообучения на двух GPU T4 (DDP, fp16, ~6 эпох), оптимизатор AdamW с cosine-расписанием.
Ограничения: работает только с короткими текстовыми задачами на английском с числовым ответом; допускает ошибки рассуждения (например, забывает ½ в формуле площади треугольника). Код исполняется в отдельном интерпретаторе с таймаутом, но без полноценной песочницы.










Комментарии