Ofcen-CHRU v1.2

Ofcen-CHRU v1.2 — компактный 0.6B ИИ-ассистент для чата на русском языке от команды Ofcen. Это Qwen3-0.6B, дообученная через LoRA (затем слита с весами) на ~113 000 русских диалогов. Работает на обычной видеокарте и даже на процессоре.

⚙ Ключевые особенности

• 💭 Режим размышлений включается и выключается; есть уровни: низкий, средний, высокий.
• 🔎 Обучена вызывать поиск в формате <tool_call> Qwen3 и отвечать по найденному.
• 🫡 Знает, кто она, даже без системного промпта; меньше вставок иероглифов, данные очищены от зацикленных ответов.
• 📀 Обучение на примерах длиной до 8192 токенов; LoRA затем слита с весами.
• 🧩 Системный промпт встроен в шаблон чата и подставляется сам, если не задан свой.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
name = "Officerofff/Ofcen-CHRU-v1.2"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Что такое инфляция?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512)
print(tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Подробнее

Ofcen-Bench-RU: 60.2% против Qwen3-0.6B — 107 побед, 27 ничьих, 66 поражений; против v1.1 — 46.5%.
Запуск: 0.6B, работает на обычной видеокарте и даже на CPU; лицензия Apache 2.0.
Ограничения: иногда зацикливается или обрывается в длинных ответах; размышления на высоком уровне бывают длиннее 4096 токенов; слабее в фактах без поиска и в логике.
Обучение: LoRA r=32, alpha=64, 1 эпоха, lr 1e-4, до 8192 токенов на пример.