Aspaklarya-108b-step2360

Это LoRA-адаптер для Qwen/Qwen3-VL-8B-Instruct из программы Aspaklarya, раунд 1XX. В отличие от раунда 0XX модель отвечает на VQA не одним словом, а несколькими предложениями с обоснованием. Чекпоинт step 2360 — воспроизведение рецепта 19K с seed 2024.

📌 Ключевые особенности

• 🗺 Специализация — remote sensing: обучение на 18 862 примерах и 6 288 изображениях.
• 💬 Формат — verbose-answer VQA: развёрнутые ответы вместо коротких меток.
• ⚙ LoRA r=16, alpha=16, dropout=0.0; обучался и vision tower.
• 📊 Оценка LLM-as-judge: MEAN4 76.04, 15-е место из 70 чекпоинтов программы.
• 🔄 Контроль шума: при повторном запуске с тем же seed разброс MEAN4 ~0.30.

💻 Пример

from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoProcessor

base = "Qwen/Qwen3-VL-8B-Instruct"
model = AutoModelForImageTextToText.from_pretrained(base, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, "ExperimentField/Aspaklarya-108b-step2360")
processor = AutoProcessor.from_pretrained(base)

Подробнее

MEAN4 — 76.04; VQA DM — 72.66, Caption DM — 82.1.
Различия MEAN4 ниже ~0.5 из одной пары запусков не интерпретируются.
Судья text-only и не видит изображение; оценки in-domain, для remote sensing.
Обучение: 4 эпохи, seq len 2048, lr 0.0002, effective batch 32.