VEHME-FERMAT
проверка рукописных решений по математике
1 min read
VEHME-FERMAT — vision-language модель от исследователей UNIST и POSTECH для оценки открытых рукописных решений по математике. На вход подаются изображение задачи, эталонный ответ и рукописное решение ученика; модель определяет, есть ли ошибка, и локализует её. Построена на Qwen2.5-VL-7B-Instruct и дообучена LoRA на подмножестве FERMAT.
Ключевые особенности
- Работает с грязной рукописью и многошаговыми решениями, без предварительной расшифровки в текст.
- Две задачи: Error Detection (ED) и Error Localization (EL).
- При ошибке выдаёт рассуждение, метку корректности и указание на конкретное выражение или шаг.
- Пайплайн: SFT на distilled reasoning traces от QwQ-32B + RL GRPO; EVPM на YOLO для spatial grounding.
- Ответ в формате <think>, <correctness> и <localization>; язык карточки — английский.
Пример
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
MODEL_ID = "phuongnt/VEHME-FERMAT"
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(MODEL_ID, torch_dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained(MODEL_ID)
# далее — изображение задачи/решения и промпт с эталонным ответом
Подробнее
AIHub: ED Acc 73.01%, EL Acc 61.13%; FERMAT: ED Acc 62.61%, EL Acc 31.90%.База — Qwen2.5-VL-7B-Instruct; LoRA на MLP-слоях (rank 8, alpha 32), около 6 NVIDIA A100 GPU-days.
На FERMAT проприетарные модели всё ещё сильнее; данные AIHub не перераспространяются.
Лицензия Apache 2.0; FERMAT — CC BY 4.0.










Comments