Qwen3.5-2B Text-to-SQL LoRA v2

Это второй LoRA-адаптер для Qwen/Qwen3.5-2B в thinking mode. Он ставится поверх v1: сначала нужно merge v1 в базовую модель, затем применить v2. v1 учил короткому структурированному reasoning на 10 тыс. execution-verified примеров SynSQL-2.5M, а v2 — rejection-sampled self-distillation на реальных базах BIRD.

➕ Ключевые особенности

• ➕ Ставится поверх v1: сначала merge v1 в базу, затем v2.
• ▶ Обучен на 5 026 вопросах BIRD train: по 4 попытки, 2 349 execution-correct ответов, shortest correct в среднем 429 токенов, плюс 3 000 новых строк SynSQL.
• 🔜 В harness vote@8 + execution repair даёт 42.07% на BIRD dev и 72.44% на Spider dev.
• 🔙 Только английский и SQLite; один sample слабее base на BIRD — нужен цикл sample → repair → vote.
• 1⃣ LoRA r=16, alpha=32, dropout 0.05 на attention, linear-attention и MLP всех 24 слоёв; 0.7 GPU-hours на RTX PRO 6000.

▶ Пример

from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
base = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.5-2B", dtype="bfloat16")
v1 = PeftModel.from_pretrained(base, "Thegame1161/qwen35-2b-text2sql-lora-v1").merge_and_unload()
model = PeftModel.from_pretrained(v1, "Thegame1161/qwen35-2b-text2sql-lora-v2").merge_and_unload()
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-2B")

Подробнее

BIRD dev: 42.07%, Spider dev: 72.44% в режиме vote@8 + execution repair.
Один sample даёт 29.09% на BIRD dev — ниже base с длинным thinking.
Обучение: 343 шага, 5 046 примеров, 0.7 GPU-hours на одной RTX PRO 6000.
Ограничения: английский и SQLite; ниже XiYanSQL-QwenCoder-3B (52.19% / 85.20%).