qwen2.5-1.5b-arxiv-title-lora
генерация заголовков для научных статей по аннотации
2 min readupdated
Этот компактный LoRA-адаптер (небольшая надстройка над базовой моделью) создан для того, чтобы придумывать академические заголовки к текстам аннотаций научных статей с arXiv. В основе лежит языковая модель Qwen2.5-1.5B-Instruct от Alibaba, а саму надстройку обучил автор Md Shahid Afridi. По сравнению с базовой версией модель лучше попадает в стиль заголовков из области машинного обучения, показывая прирост по метрикам ROUGE. Инструмент пригодится исследователям, студентам и разработчикам, которые работают с научными публикациями.
Ключевые особенности
- Обучена методом QLoRA (4-bit NF4) на 4 750 парах «аннотация — заголовок» из датасета
CShorten/ML-ArXiv-Papers. - Обгоняет базовую Qwen2.5-1.5B-Instruct на валидационной выборке из 250 примеров: ROUGE-L вырос с 0.348 до 0.399.
- Легковесная архитектура: обучаемых параметров всего 18,46 млн (1,18% от размера базовой модели).
- Требует строгого соблюдения шаблона промпта с тегами
<|im_start|>userи<|im_start|>assistant.
Что можно сделать
- Быстро подбирать варианты названий для черновиков статей и препринтов по машинному обучению на основе готового abstract.
- Встроить в локальный скрипт или пайплайн для автоматического индексирования и краткого именования текстовых выдержек из научных работ.
- Использовать как отправную точку или референс для дообучения компактных моделей под узкие академические задачи.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", device_map="auto")
model = PeftModel.from_pretrained(base, "ms-afridi/qwen2.5-1.5b-arxiv-title-lora")
tokenizer = AutoTokenizer.from_pretrained("ms-afridi/qwen2.5-1.5b-arxiv-title-lora")
prompt = "<|im_start|>user\nWrite a title for this abstract:\nYour abstract here.<|im_end|>\n<|im_start|>assistant\n"
print(tokenizer.decode(model.generate(**tokenizer(prompt, return_tensors="pt").to(model.device), max_new_tokens=40)[0]))Подробнее
Метрики (250 примеров, greedy decoding): ROUGE-1 — 0.448 (база 0.405), ROUGE-2 — 0.249 (база 0.212), ROUGE-L — 0.399 (база 0.348).Обучение: 2 эпохи на 1× Tesla T4 (около 57 минут), LoRA rank 16 / alpha 32, max sequence length 512.
Ограничения: модель экспериментальная, обучалась только на статьях по ML (5 000 примеров), поэтому на других темах качество падает, а сгенерированные заголовки могут звучать правдоподобно, но упускать суть.










Comments