MenteE Code 3B

MenteE Code 3B (v1) — это coding-agent ассистент от MenteE: LoRA-файнтюн Qwen2.5-Coder-3B-Instruct на 3,09B параметров, слитый в самостоятельную модель. Обучен на 53 567 schema-validated агентских траекториях; лицензия Apache-2.0. Карточка честно предупреждает: v1 заметно уступает базе в HumanEval.

3⃣ Ключевые особенности

• ▶ База — Qwen2.5-Coder-3B-Instruct, 3,09B параметров; LoRA r=8, α=16, all-linear.
• 🔤 Контекст 32 768 токенов нативно, до 131 072 через YaRN (factor 4.0).
• ➕ Обучение: 1 250 шагов, 1 эпоха, effective batch 16, lr 2e-4, seq len 4 096.
• ➖ HumanEval pass@1: 50,0% против 94,0% у базы — разрыв опубликован намеренно.
• 🔜 GGUF-сборки для Ollama/llama.cpp; в планах v2 с assistant-only loss и LoRA r=16.

3⃣ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
t = AutoTokenizer.from_pretrained("MenteEAI/MenteE-Code-3B")
m = AutoModelForCausalLM.from_pretrained("MenteEAI/MenteE-Code-3B", torch_dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "Write a Python function to reverse a linked list."}]
prompt = t.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
enc = t(prompt, return_tensors="pt").to(m.device)
out = m.generate(**enc, max_new_tokens=512)
print(t.decode(out[0][enc["input_ids"].shape[1]:], skip_special_tokens=True))

Подробнее

HumanEval: 50,0% против 94,0% у базы; 24 из 25 ошибок v1 — систематически удвоенные закрывающие скобки из-за loss на всех ролях траектории.
Обучение: loss 1,62 до 0,317, token accuracy 91,5%; 1× RTX 5090 32 GB, 5 ч 32 мин, ~$0,13.
Контекст: 32 768 нативно, 131 072 через YaRN. Ограничение: 50 задач HumanEval — ориентир, не лидерборд.