Qwen2.5-3B Prompt Optimizer v4
LoRA для коротких корейских запросов
2 мин чтения
Это LoRA-адаптер от Wasteland0103 в рамках проекта HUFS APPLES «Learning to Ask Better: SLM-Based Prompt Optimization». База — Qwen2.5-3B-Instruct (3B). Модель превращает короткий корейский запрос в один естественный абзац: сохраняет исходную информацию и тон и добавляет пункты, которые стоит раскрыть в ответе.
Ключевые особенности
- Выход — один абзац без заголовков и скобок; для запросов с одним правильным ответом возвращается исходный запрос.
- gate() пропускает только однострочные запросы ≤60 символов без ограничений на количество, формат, математику или код; остальное уходит без изменений.
- final() принимает вывод только после faithful(): проверки формата, письменности, числа предложений, тона, покрытия исходного текста и длины; иначе возвращается оригинал.
- Обучение: 1014 пар (902 переписанных, 112 без изменений) + 31 валидационная; данные построены с gpt-4o и gpt-4o-mini.
- В оценке v4 не улучшила ответы статистически значимо: на WildChat win rate 47.7% против 50% у оригинала; добавленные пункты — догадки по короткому запросу.
- QLoRA 4-bit, Unsloth; r=16, alpha=32, 3 эпохи, lr=2e-4; при генерации советуют repetition_penalty=1.0.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = 'Qwen/Qwen2.5-3B-Instruct'
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, dtype=torch.bfloat16, device_map='auto')
model = PeftModel.from_pretrained(model, 'Wasteland0103/qwen2.5-3b-prompt-optimizer-v4-lora')
# v4.gate(q) → генерация → v4.final(q, out); иначе вернуть q
Подробнее
Бенчмарки: WildChat, 300 коротких корейских запросов — win rate 47.7% [44.3, 51.2] против 50% у оригинала; KoMT-Bench turn 1 — 5.32 против 5.20; IFEval-Ko prompt-level strict — 54.7% без изменений. Различия статистически не значимы, авторы прямо пишут: v4 не улучшает ответы.На 162 запросах, которые v4 реально переписала, win rate 45.8%; переписывания с добавлением «자세히»/«구체적으로» выигрывали только 38.6%.
Ограничения: только корейский; добавленные пункты могут быть не по теме или слишком общими; длинные/ограниченные запросы по дизайну не меняются.
Лицензия: Qwen Research License (коммерческое использование ограничено); также действуют условия OpenAI из-за данных с выходами их моделей.










Комментарии