continual-lm

continual-lm — исследовательский файнтюн Qwen2.5-0.5B-Instruct от Fedor Makovskiy. Модель последовательно обучали на четырёх задачах: короткие рассказы, вопросы по отрывку, арифметика и ML-абстракты, — с приёмами против забывания. LoRA-адаптеры слиты в веса, так что это обычная модель для transformers; код проекта для запуска не нужен.

⚡ Ключевые особенности

• 🔄 Поток из четырёх учебных задач: stories, passage QA, arithmetic, ML abstracts.
• 🛡 Против забывания: replay старых примеров, отбор по «surprise», порядок easy-to-hard, фаза «сна» и replay собственных ответов.
• 🔗 LoRA-адаптеры объединены с базовыми весами — отдельные адаптеры подключать не нужно.
• 💻 Работает на CPU: ответ занимает от нескольких секунд до половины минуты.
• 📚 В репозитории есть state/ для продолжения обучения: replay buffer, счётчики и random states.
• ⚠ Это research artifact, а не универсальный ассистент: 0.5B, английский язык, учебные задачи.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained('makltd1/continual-lm')
model = AutoModelForCausalLM.from_pretrained('makltd1/continual-lm')
messages = [{'role': 'user', 'content': 'What is 17 + 25? Reply with the answer only.'}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt', return_dict=True)
out = model.generate(**inputs, max_new_tokens=64, do_sample=False)
print(tok.decode(out[0, inputs['input_ids'].shape[1]:], skip_special_tokens=True))

Подробнее

📊 Arithmetic EM: 0.795 против 0.41 у базы; Passage QA EM: 0.598 против 0.37.
💻 CPU-инференс: от нескольких секунд до ~30 секунд на ответ.
⚠ Обучение финальной модели — один seed; ppl на общем тексте выросла ~7% (25.9 → 27.75), instruction following — 95% от базы.
⛔ Не «forgetting-free»: часть навыков теряется, форматные инструкции вроде «ровно N абзацев» не соблюдает.