Qwen2.5-1.5B 2Wiki Composite-first RL

Исследовательская модель от sitao из статьи «From Atomic to Composite»: Qwen2.5-1.5B (1.78B параметров) дообучена на реальных Wikipedia-пассажах из 2WikiMultiHopQA. Рецепт composite-first: сначала SFT на составных вопросах, затем 200 шагов GRPO в verl. Язык — английский.

🎯 Ключевые особенности

• 🎯 Проверяет рецепт composite-first: SFT на составной задаче, затем RL на тех же составных вопросах.
• ⚙️ База — Qwen2.5-1.5B; SFT через LLaMA-Factory, RL через GRPO в verl.
• 📡 Обучение и оценка — на реальных Wikipedia-пассажах из 2WikiMultiHopQA.
• 🔎 Сравнение step-matched: те же 200 шагов RL и те же данные, что у atomic-first модели.
• 📌 Это research artifact для изучения композиции навыков, а не универсальный ассистент.

🧑‍💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = 'sitao/atomic-to-composite-qwen2.5-1.5b-2wiki-composite-first-rl'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype='auto', device_map='auto')
prompt = tok.apply_chat_template([{'role': 'user', 'content': 'Answer the question.'}], add_generation_prompt=True, tokenize=False)
out = model.generate(**tok(prompt, return_tensors='pt').to(model.device), max_new_tokens=160, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

2Wiki test, Exact match: IID — 90.2%, Composition — 68.8%.
Для сравнения atomic-first RL: 90.4% IID и 88.6% Composition — composite-first заметно хуже на составных вопросах.
Модель обучена только на английском; данных о требованиях к VRAM в карточке нет.