smolvlm2-chartqa-sft-v2

Это LoRA-адаптер для HuggingFaceTB/SmolVLM2-2.2B-Instruct, дообученный отвечать на вопросы по изображениям графиков в рамках ChartQA. Часть задания курса Hugging Face smol, Unit 3. Обучение — SFT через TRL SFTTrainer, fp16 на одной Colab T4, около 1 ч 23 мин.

🔍 Ключевые особенности

• 🎯 Дообучен на первых 1 000 примерах train-сплита HuggingFaceM4/ChartQA.
• ⚙ LoRA: r=16, alpha=32, dropout 0.05; q/k/v/o/gate/up/down проекции.
• ✅ Loss считается только на токенах ответа (completion_only_loss=True), 1 эпоха, 63 шага.
• 🔎 Собственная проверка на 150 вопросах test: 56.7% с адаптером против 49.3% у базовой модели.
• ❗ Прирост скромный: адаптер может ошибаться при чтении графиков.

💻 Пример

from peft import PeftModel
from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

base = AutoModelForImageTextToText.from_pretrained("HuggingFaceTB/SmolVLM2-2.2B-Instruct", dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(base, "yas1988/smolvlm2-chartqa-sft-v2")
processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM2-2.2B-Instruct")

Подробнее

Бенчмарк: 85/150 (56.7%) с адаптером vs 74/150 (49.3%) без; разброс около ±4 п.п.
Обучение: lr 2e-4, batch 1 × grad accumulation 16; loss 0.57 → ~0.17, mean token accuracy 0.94.
Ограничения: всего 1 000 примеров, небольшая модель, возможны ошибки в чтении графиков.
Это не официальный скор ChartQA, а собственная проверка автора.