title-optimizer-grpo

Это LoRA-адаптер к Qwen/Qwen3-1.7B, который пишет заголовки объявлений Airbnb: цепляющие и только с теми особенностями, что реально указаны в листинге. Обучен через GRPO за 500 шагов на 4 000 объявлений с программными наградами. Адаптер составной: сначала нужно применить title-optimizer-sft, смержить, затем этот.

🔥 Ключевые особенности

• ✅ Не выдумывает удобства: отдельная награда 2.0 за отсутствие неподтверждённых фич.
• 📉 Программные награды: длина (1.0), стиль Airbnb (0.5), отсутствие выдуманных claims (2.0).
• 🦾 LoRA r=16, alpha=32 на всех linear-слоях, bf16; обучение на Apple M4 (24 GB).
• 🫂 Цепочка SFT → GRPO: перед этим адаптером нужно применить и смержить title-optimizer-sft.
• 🏔 Обучение на 4 000 объявлений; оценка на 500 held-out листингах.

😎 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained('pulkit-thukral/title-optimizer-grpo')
model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen3-1.7B', dtype=torch.bfloat16)
model = PeftModel.from_pretrained(model, 'pulkit-thukral/title-optimizer-sft').merge_and_unload()
model = PeftModel.from_pretrained(model, 'pulkit-thukral/title-optimizer-grpo').merge_and_unload()

Подробнее

Win rate против оригинала у SFT + GRPO: 67.7% (95% CI 63.8–71.4), hallucination 0.2%, ≤50 символов 100%, style issues 0.0%.
Оценка на 500 held-out объявлениях; judge claude-sonnet-5-5 согласился с автором в 64% пар (κ=0.29), так что это «Sonnet предпочитает», а не проверенная человеческая оценка.
Ограничения: лексиконная проверка hallucination (22 типа claims), английские листинги из Лондона, Нью-Йорка, Сиднея, Торонто и Дублина; CTR не измерялся.