OpenEuroLLM 9B 256K E8

Это специализированный research preview-чекпоинт OpenEuroLLM на базе Qwen3: 9B параметров, контекст 256K, словарь 263 168 токенов. Его дообучили отвечать на известные вопросы, искать то, чего модель не знает, и говорить UNKNOWN, если факта не существует. Для общего ассистента авторы по-прежнему рекомендуют предыдущий релиз W2.

➕ Ключевые особенности

• 🔤 Два режима: direct по умолчанию и thinking через enable_thinking=True.
• 🔜 Честность: на выдуманных сущностях доля изобретённых ответов — 0.024 в thinking против 0.732 у W2.
• ▶ Поиск: с инструментом wiki_search модель ищет почти всегда и ошибается в 9% случаев против 33% у W2.
• 🔙 Tool calling в формате Qwen3/Hermes: решение о вызове — 0.906, валидный JSON — 1.000.
• ➖ Общий чат и часть safety-поведения хуже W2; agentic control упал с 0.865 до 0.594.

▶ Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
mid = "birgermoell/oellm-9b-256k-stage5-e8-search-rl-step160"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "In which year was the University of Tartu founded?"}]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", enable_thinking=False).to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=256)[0][ids.shape[1]:], skip_special_tokens=True))

Подробнее

Галлюцинации на EU factual QA: 0.61 против 0.94 у W2. С поиском: accuracy 0.533, wrong 0.093. HumanEval+ direct — 0.415.
Обучение E8: 2 560 промптов, 160 обновлений DAPO, 2 узла, около 2.2 ч.
Ограничения: research preview без red-teaming; agentic control 0.865 → 0.594, общий чат ниже W2; поиск доверяет результатам и не тестировался на prompt injection.