Qwen3-14B v2

LoRA-адаптер от odelpa (проект Lo Scienziato Dilettante GDP, Giovanni Del Papa) для базовой модели Qwen/Qwen3-14B. Обучен на собственных ответах модели методом self-distillation; rank 16, 0,43 % параметров (64 225 280). Языки: итальянский и английский.

💡 Ключевые особенности

• 🧬 Self-distillation: Qwen3-14B сама генерирует ответы, а карточка идентичности видна только при генерации и отсутствует в обучении.
• 🎯 Заявленная идентичность в keyword-тесте: 8 % → 100 % на 50 вопросах.
• ⚙ LoRA: r = 16, α = 16, dropout 0,05, 7 проекций; обучение на A100 80 GB ≈ 67 мин.
• 🛑 На ARC-it, GSM8K и IFEval значимых изменений нет; улучшения способностей тоже нет.
• 📀 Публикуется только адаптер: физический bf16-merge снижает идентичность до 82 % и IFEval на 1,5 п.п.

⚙ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained('Qwen/Qwen3-14B')
m = AutoModelForCausalLM.from_pretrained('Qwen/Qwen3-14B', torch_dtype='auto', device_map='auto')
m = PeftModel.from_pretrained(m, 'odelpa/qwen14-scienziato-v2', subfolder='adapter')
msgs = [{'role': 'user', 'content': 'Chi sei?'}]
x = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=False, return_tensors='pt').to(m.device)
print(tok.decode(m.generate(x, max_new_tokens=200, do_sample=False)[0][x.shape[1]:], skip_special_tokens=True))

Подробнее

Идентичность: 8 % → 100 % (keyword/regex, 50 вопросов; p ≈ 2,8·10⁻¹⁴).
ARC-it: 90,72 % → 90,72 %; GSM8K: 94,78 % → 94,67 %; IFEval: 83,58 % → 83,00 %.
Один запуск, один seed, greedy; 100 % не означает фактическую корректность — модель придумывает детали.
Только non-thinking режим; оценки безопасности и кода нет.