CherryPit-1.2-2B

CherryPit-1.2-2B — третий релиз CherryPit от DRUPEs на базе MiniCPM5-2B. Это каузальная LLM на ~2B параметров с архитектурой Llama, контекстом 128K и поддержкой tool calling; размер и скорость те же, что у версий 1.0 и 1.1. Основной упор — сборка веб-приложений, где нужно объединить 2–4 функции в одном компоненте.

🔥 Ключевые особенности

• 🔥 Composition training: RL на сгенерированных многокомпонентных веб-приложениях и многошаговых code-пайплайнах.
• 🥰 На WebApp1K Duo/Trio/Quartet — 48.8 / 44.9 / 28.3 против 31.6 / 16.8 / 6.6 у 1.1; бенчмарк модель не видела.
• 💪 Подросли coding, math и instruction following: LiveCodeBench v6 38.3 без thinking и 47.4 с thinking, MATH-500 90.6, IFEval 88.7.
• 👀 Лучший дефолтный промпт: без system prompt модель представляется только если спросить, кто она.
• 🐾 128K контекст, tool calling через chat template, Apache 2.0; есть GGUF-вариант для llama.cpp, Ollama и LM Studio.

👉 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("DRUPEs/CherryPit-1.2-2B")
model = AutoModelForCausalLM.from_pretrained("DRUPEs/CherryPit-1.2-2B", torch_dtype="bfloat16", device_map="auto")
msgs = [{"role": "user", "content": "Build a React component with a search box and a list that loads on open."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=8192, do_sample=True, temperature=1.0, top_p=0.95)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

Подробнее

Главные цифры: WebApp1K Duo 48.8 vs 31.6, Trio 44.9 vs 16.8, Quartet 28.3 vs 6.6 у CherryPit-1.1.
Веса bf16 для transformers/vLLM и дообучения; для llama.cpp, Ollama и LM Studio есть GGUF-версия.
Ограничения: 2B может уверенно ошибаться; четыре функции в одном компоненте проходят лишь в 28% против 83% для одной; long-budget math на уровне 1.1; только английский; примерно 1 из 20 ответов о самоидентификации с выключенным thinking называет базовую модель.