Qwen3.5-2B-Philosophy-CoT

Это полная merged-версия Qwen3.5-2B (1.88B параметров), дообученная через LoRA для академической философии и цепочек рассуждений (CoT). Модель работает с китайским и английским, следует схеме【范畴辨析】→【逐项排除】→【明确答案】 и заточена под пошаговые ответы.

▶ Ключевые особенности

• ▶ Полный merged-вариант после LoRA; отдельно опубликован LoRA-адаптер.
• ➕ Обучение на cais/mmlu (philosophy) и корпусе западной и китайской философии: 1 080 примеров, 120 в валидации, 100 в тесте.
• ▶ На 25 невиданных философских вопросах accuracy 56% против 0% у базы; compliance 100% против 12%.
• ➖ Средняя задержка 5.88 с против 9.70 с — на 39.4% быстрее.
• ◀ LoRA: r=16, alpha=32, dropout=0.05; обучение заняло около 5.5 GB VRAM на RTX 4060 8GB.

▶ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "Hakiyukuno/Qwen3.5-2B-Philosophy-CoT"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
prompt = tok.apply_chat_template([{"role": "user", "content": "Кант: откуда всеобщее и необходимое знание? Ответь по шагам."}], tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(**inputs, max_new_tokens=160, do_sample=False)[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

🔤 База: Qwen/Qwen3.5-2B; лицензия Apache-2.0.
➖ Оценка на независимом тесте из 25 философских задач: accuracy 56%, compliance 100%, latency 5.88 с.
➕ Тренировка: 3 эпохи, 204 шага, эффективный batch 16, bfloat16, paged_adamw_8bit.
🔙 Ограничение: в карточке только эти метрики; модель заявлена для zh/en и философских задач.