Teutonic-I-Reliquary

Teutonic-I-Reliquary от ReliquaryForge — 8.95B модель для text-generation на базе Teutonic-I-Reliquary-SFT. Это reasoning- и coding-агент, полностью пост-тренированный на Bittensor на недоверенных GPU — от RTX 3090 до B200. Архитектура и chat template с��впадают с Qwen3.5-9B, поддерживается thinking mode.

⚡ Ключевые особенности

• 🎯 На SWE-bench Verified решает 43.6% задач против 35.1% у Qwen3.5-9B.
• ⚡ Высокие результаты: IFBench 74.7, AIME 2025 91.2, LiveCodeBench 62.0, AIME 2026 89.6.
• 🧩 SFT на ~4.5B токенов от майнеров Reliquary, включая 24 500 многошаговых агентных эпизодов.
• ⚙ RL: 158 шагов за 11 дней, 15.7B токенов, 7 сред, асинхронное обучение и проверка reward сетью.
• 🖐 Любой GPU мог участвовать; майнеры присылают только токены, сеть проверяет каждый rollout.
• 🕶 Apache-2.0; запуск через vLLM с max-model-len 65536 и рекомендованным sampling.

🧩 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
name = "ReliquaryForge/Teutonic-I-Reliquary"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, torch_dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "Prove that the square root of 2 is irrational."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=8192, do_sample=True, temperature=1.0, top_p=0.95, top_k=20)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

Подробнее

SWE-bench Verified: 43.6% против 35.1% у Qwen3.5-9B; IFBench 74.7, AIME 2025 91.2, LiveCodeBench 62.0.
На MMLU-Pro (79.1), TMax (74.8) и GPQA Diamond (68.1) модель уступает Qwen3.5-9B.
SFT: ~4.5B токенов и 24 500 агентных эпизодов; RL: 158 шагов за 11 дней, 15.7B токенов, 7 сред.
Лицензия Apache-2.0; требования к VRAM в карточке не указаны.