VEHME-FERMAT

VEHME-FERMAT — vision-language модель от исследователей UNIST и POSTECH для оценки открытых рукописных решений по математике. На вход подаются изображение задачи, эталонный ответ и рукописное решение ученика; модель определяет, есть ли ошибка, и локализует её. Построена на Qwen2.5-VL-7B-Instruct и дообучена LoRA на подмножестве FERMAT.

🔍 Ключевые особенности

• 👀 Работает с грязной рукописью и многошаговыми решениями, без предварительной расшифровки в текст.
• ✔ Две задачи: Error Detection (ED) и Error Localization (EL).
• 🔍 При ошибке выдаёт рассуждение, метку корректности и указание на конкретное выражение или шаг.
• ⚙ Пайплайн: SFT на distilled reasoning traces от QwQ-32B + RL GRPO; EVPM на YOLO для spatial grounding.
• 🌐 Ответ в формате <think>, <correctness> и <localization>; язык карточки — английский.

💻 Пример

from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
MODEL_ID = "phuongnt/VEHME-FERMAT"
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(MODEL_ID, torch_dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained(MODEL_ID)
# далее — изображение задачи/решения и промпт с эталонным ответом

Подробнее

📊 AIHub: ED Acc 73.01%, EL Acc 61.13%; FERMAT: ED Acc 62.61%, EL Acc 31.90%.
🖥 База — Qwen2.5-VL-7B-Instruct; LoRA на MLP-слоях (rank 8, alpha 32), около 6 NVIDIA A100 GPU-days.
⚠ На FERMAT проприетарные модели всё ещё сильнее; данные AIHub не перераспространяются.
© Лицензия Apache 2.0; FERMAT — CC BY 4.0.