continual-lm
Qwen2.5-0.5B, обученная на потоке задач
2 min read
continual-lm — исследовательский файнтюн Qwen2.5-0.5B-Instruct от Fedor Makovskiy. Модель последовательно обучали на четырёх задачах: короткие рассказы, вопросы по отрывку, арифметика и ML-абстракты, — с приёмами против забывания. LoRA-адаптеры слиты в веса, так что это обычная модель для transformers; код проекта для запуска не нужен.
Ключевые особенности
- Поток из четырёх учебных задач: stories, passage QA, arithmetic, ML abstracts.
- Против забывания: replay старых примеров, отбор по «surprise», порядок easy-to-hard, фаза «сна» и replay собственных ответов.
- LoRA-адаптеры объединены с базовыми весами — отдельные адаптеры подключать не нужно.
- Работает на CPU: ответ занимает от нескольких секунд до половины минуты.
- В репозитории есть state/ для продолжения обучения: replay buffer, счётчики и random states.
- Это research artifact, а не универсальный ассистент: 0.5B, английский язык, учебные задачи.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('makltd1/continual-lm')
model = AutoModelForCausalLM.from_pretrained('makltd1/continual-lm')
messages = [{'role': 'user', 'content': 'What is 17 + 25? Reply with the answer only.'}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt', return_dict=True)
out = model.generate(**inputs, max_new_tokens=64, do_sample=False)
print(tok.decode(out[0, inputs['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
Arithmetic EM: 0.795 против 0.41 у базы; Passage QA EM: 0.598 против 0.37.CPU-инференс: от нескольких секунд до ~30 секунд на ответ.
Обучение финальной модели — один seed; ppl на общем тексте выросла ~7% (25.9 → 27.75), instruction following — 95% от базы.
Не «forgetting-free»: часть навыков теряется, форматные инструкции вроде «ровно N абзацев» не соблюдает.










Comments