Qwen2.5-14B EduSGG

Это QLoRA-адаптер для Qwen/Qwen2.5-14B-Instruct, обученный как Stage 4 в нейро-символическом фреймворке EduSGG. Предназначен для grounded multiple-choice VQA по научным диаграммам и структурированного планирования объяснений; на вход получает сериализованные триплеты scene graph.

🔤 Ключевые особенности

• ➕ QLoRA: rank 16, alpha 32, dropout 0.05; target modules q/k/v/o/gate/up/down.
• ➖ Две задачи: Diagram VQA и content planning/captioning.
• ✖ Обучение как causal LM на сериализованных триплетах (subject, predicate, object).
• 🟰 На AI2D: VQA accuracy 88.74%, CIDEr 35.67.
• 🔜 Fact F1 11.97% против 5.99% у baseline — заявлен рост в 2.0x.
• ◀ Нужен scene graph от стадий 1–3 EduSGG; это не standalone vision-модель.

▶ Пример

from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type='nf4')
base = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-14B-Instruct', quantization_config=bnb, device_map='auto')
model = PeftModel.from_pretrained(base, 'ndvuongsp/qwen2.5-14b-edusgg-vqa-lora')
# prompt: сериализованный scene graph + вопрос AI2D

Подробнее

AI2D VQA: 88.74% accuracy; CIDEr 35.67; Fact F1 11.97% против 5.99% у baseline; Flow Coverage 100%.
Базовая модель загружается в 4-bit через BitsAndBytes с device_map='auto'; отдельных требований к VRAM в карточке нет.
Адаптер опирается на scene graph, сгенерированный стадиями 1–3 EduSGG.