Kamoflage
пять способов сказать «может быть»
1 мин чтенияобновлено
Kamoflage — вторая модель в серии Kokenization от VRChatter. Это шуточный файнтюн Qwen3-0.6B: модель полностью рассуждает, но финальный ответ выбирает из пяти вариантов «может быть» в зависимости от того, насколько согласна с утверждением. Обучена через Stance-Graded Kokenization (SGK) на японских и английских данных.
Ключевые особенности
- Пять ответов: от нейтрального かも до かもかも!; выбор зависит от позиции, найденной в рассуждении.
- Chain-of-thought сохранён: thinking traces берутся из оригинальной Qwen3-0.6B, качество рассуждений не менялось.
- Всего 0.6B параметров: по карточке, запускается на потребительских GPU, ноутбуках и смартфонах.
- Бенчмарки: VibeCheck-5 — 97.3, AgreeQA — 98.1, Polite Disagreement Rate — 100.0.
- Обратная совместимость: вопросы, приветствия и просьбы по-прежнему получают 「かも」.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "VRChatter/Qwen3-0.6B-Kokenized-v2-Kamoflage-CyberRed-Uncensored-Abliterated"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "地球って平らなんだよね"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors="pt").to(model.device), max_new_tokens=1024, temperature=0.6)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Бенчмарки: KamoBench v2 — 100.0, VibeCheck-5 — 97.3, AgreeQA — 98.1; выходная информация выросла с 0 до log₂5 ≈ 2.32 бита на ответ.Обучение: LoRA (r=16, alpha=32, все linear-слои), lr 1e-4, 2 эпохи, слияние в bf16.
Ограничения: разметка позиций шумная, набор утверждений небольшой, ответы иногда склеиваются, рассуждения часто на английском.










Комментарии