Qwythos-9B-Claude-Mythos-5-1M-tiiny
reasoning-модель на 9B без цензуры с контекстом 1M токенов
2 мин чтения
Компактная рассуждающая языковая модель на 9,41 млрд параметров от команды Empero (перепакованная для импорта в Tiiny Pocket без изменения весов). Построена на базе Qwen3.5-9B с полностью обновлёнными текстовыми весами и дообучена на более чем 500 млн токенов цепочек рассуждений (CoT — пошагового логического вывода перед ответом) от Claude Mythos, Claude Fable и внутреннего инструмента rethink. Модель выдаёт ход мыслей в блоке , умеет сама вызывать внешние инструменты (Python и поиск) и отвечает без отказов на сложные технические и медицинские вопросы. Подойдёт разработчикам локальных агентов, исследователям и специалистам по кибербезопасности.
Ключевые особенности
- Контекстное окно 1 048 576 токенов из коробки благодаря включённому по умолчанию YaRN rope-scaling (расширение контекста в 4 раза от базовых 262k).
- Существенный прирост качества относительно базовой Qwen3.5-9B: +34,3 пункта на MMLU и +30 пунктов на строгое решение задач gsm8k.
- Нативный вызов функций (function calling) в формате Qwen3.5 с самокоррекцией: в тестах с Python и веб-поиском модель дала точные ответы с источниками в 7 из 7 сложных запросов.
- Отсутствие цензурных фильтров — модель разбирает темы кибербезопасности, фармакологии, биохимии и клинической медицины без шаблонного уклонения от ответа.
Что можно сделать
- Загружать целые репозитории кода или подборки из 10–20 научных статей в один промпт для поиска уязвимостей, рефакторинга и сводного анализа без RAG.
- Подключить модель к
python_executorи веб-поиску в агентских пайплайнах для точных вычислений и проверки редких фактов (например, CVE или фармакологических механизмов). - Развернуть локально через vLLM или SGLang для автономных ассистентов в сфере ИБ, биомедицины и математики.
Пример
vllm serve fjolsvin/Qwythos-9B-Claude-Mythos-5-1M-tiiny --max-model-len 1010000
Подробнее
Бенчмарки (vs Qwen3.5-9B): MMLU — 0.575 (+0.343), gsm8k strict — 0.810 (+0.300), gsm8k flexible — 0.860 (+0.190), GPQA Diamond — 0.580 (-0.050).Железо: одна видеокарта H100/H200 уверенно тянет 256k–512k контекста; для полного 1M нужен multi-GPU (tensor-parallel) или выгрузка KV-кэша.
Рекомендуемый сэмплинг: temperature=0.6, top_p=0.95, top_k=20, repetition_penalty=1.05 (при T≤0.3 модель уходит в циклы повторов).
Ограничения: визуальный энкодер заморожен и не дообучался; статический YaRN 4.0 слегка снижает качество на коротком контексте; лицензия Apache 2.0.










Комментарии