Qwable-9B-Claude-Fable-5
компактная LLM для кода и агентских задач
2 мин чтенияобновлено
Полнопараметрический файнтюн (полное дообучение всех текстовых весов) модели Qwen3.5-9B (9,41 млрд параметров) от команды Empero, созданный методом дистилляции на примерах работы Claude Fable 5 и терминального агента GPT-5.5. Модель училась имитировать их логику рассуждений и работу с инструментами в длинных многошаговых диалогах. В отличие от базовой мультимодальной версии, здесь обучалась только текстовая часть без обрезки длинных цепочек рассуждений, поэтому модель выдает структурированный ход мыслей в теге перед финальным ответом. Подойдет разработчикам, которым нужен локальный помощник для написания кода, работы в терминале и сложных рассуждений.
Ключевые особенности
- Рассуждения перед ответом: каждый ответ начинается с блока
..., где модель сначала выстраивает логику решения. - Обучение без обрезки контекста: дообучение проходило на полных многошаговых трейсах длиной до 76 800 токенов (
max_length = 76,800). - Фокус на коде и терминале: датасет объединяет ~4585 трейсов рассуждений и кода от Claude Fable 5 и ~111 решений терминальных задач от GPT-5.5.
- Архитектура Qwen3.5-9B: гибридный стек внимания (соотношение 3:1 линейного Gated DeltaNet к полному Gated attention); визуальный модуль заморожен и не дообучался.
Что можно сделать
- Локальный ассистент для программирования: использовать в IDE или скриптах для генерации и рефакторинга кода с опорой на современные утилиты вроде
ss,git-filter-repoи Argon2id. - Автоматизация в терминале: встроить в агентские пайплайны для решения многошаговых системных задач (потребуется парсить и отделять тег
от итогового ответа). - Анализ длинных логов и контекстов: подавать большие фрагменты кода или переписок благодаря обучению на полных последовательностях без усечения.
Пример
from transformers import AutoModelForImageTextToText, AutoTokenizer
model_id = "northwinter/Qwable-9B-Claude-Fable-5"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="bfloat16", device_map="auto")
text = tok.apply_chat_template([{"role": "user", "content": "Write a Python function..."}], tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors="pt").to(model.device), max_new_tokens=2048, repetition_penalty=1.05)
Подробнее
Оценка качества: на отложенной выборке (100 примеров) eval loss снизился до 0.713, а token-accuracy достигла 0.791; на ручной проверке 34 промптов модель выдала чистый и верный ответ в ~27 случаях.Требования: свежая версия
transformers, а также ядра flash-linear-attention и causal_conv1d под вашу версию CUDA (без них линейное внимание работает медленно и тратит много памяти).Настройки генерации: рекомендуется задавать
repetition_penalty=1.05 и запас по max_new_tokens, чтобы модель успевала завершить блок рассуждений .Лицензия: веса распространяются под Apache-2.0, но при коммерческом использовании стоит учитывать условия провайдеров исходных моделей (Claude и GPT), на чьих ответах обучался датасет.










Комментарии