К содержимому
Другое

Fable-5-Thinking-Heretic-1B

компактная модель с «размышлениями» и вызовом функций

3 мин чтения

Лёгкая языковая модель на 1.08 миллиарда параметров, созданная для локального запуска на ноутбуках, смартфонах и видеокартах с небольшим объёмом памяти. В её основе лежит архитектура Llama от OpenBMB (MiniCPM5-1B), дообученная автором GnLOLot на трассировках Fable 5 ради вызова внешних инструментов (tool calling) и написания кода, а затем очищенная от встроенных отказов с помощью утилиты Heretic. Репозиторий от WithinUsAI представляет собой зеркало оригинальной сборки от saidutta69 с полным набором квантизаций (сжатых версий весов) в формате GGUF. Модель пригодится разработчикам локальных ИИ-агентов и тем, кому нужна быстрая автономная нейросеть без жёсткой цензуры.

Ключевые особенности

  • Режим рассуждений: поддерживает переключатель enable_thinking, позволяя модели выстраивать цепочку мыслей (chain-of-thought) перед выдачей финального ответа или отвечать сразу.
  • Улучшенный вызов функций: дообучение V2 нацелено на работу с API и генерацию структурированных XML-вызовов инструментов по нативному шаблону MiniCPM5.
  • Снятие отказов (abliteration): направленное редактирование весов через Heretic v1.4.0 снизило долю отказов на тестовых промптах с 93/100 до 3/100 при минимальном отклонении от исходного поведения (KL divergence 0.0232).
  • Контекст 128K и двуязычность: окно контекста составляет 131 072 токена, модель поддерживает английский и китайский языки.
  • 15 вариантов GGUF: в репозитории собраны версии от сверхлёгкой Q2_K (0.49 ГБ) до полноразмерной F16 (2.17 ГБ), а также исходные веса safetensors.

Что можно сделать

  • Собрать локального ИИ-агента: подключить модель через бэкенд SGLang со встроенным парсером minicpm5 для преобразования XML-вызовов в стандартные tool_calls, совместимые с OpenAI API.
  • Запустить на слабом железе: использовать квантизации IQ4_XS (0.64 ГБ) или Q4_K_M (0.69 ГБ) на ноутбуках, видеокартах с 6–8 ГБ видеопамяти, Apple Silicon или в оперативной памяти CPU.
  • Решать задачи с прозрачной логикой: применять режим Think для пошагового разбора кода и сложных инструкций, скрывая блок рассуждений от конечного пользователя на уровне приложения.

Пример

Для запуска в агентских сценариях рекомендуется использовать SGLang со встроенным парсером minicpm5, который переводит нативные XML-вызовы функций модели в формат OpenAI tool_calls. В стандартном чат-шаблоне режим рассуждений управляется параметром enable_thinking, а размер файла выбирается под объём памяти (например, Q4_K_M на 0.69 ГБ + около 1 ГБ под контекст).

ПодробнееБенчмарки дообучения V2 против базовой MiniCPM5-1B: API-Bank вырос с 7.30% до 22.10% (+14.80), BFCL live — с 60.24% до 63.33% (+3.09), BFCL non_live — с 41.51% до 43.06%.
Требования к железу: для Q8_0 (1.15 ГБ) рекомендовано 24 ГБ VRAM, для Q6_K — 16 ГБ, для Q5_K_M — 12 ГБ, для Q4_K_M — 8 ГБ или Apple Silicon/CPU, для IQ4_XS — от 6 ГБ (плюс ~1 ГБ под контекст).
Ограничения: это зеркало сборки saidutta69 без изменений; на многошаговых агентских тестах Tau-Bench прирост минимален (0.36 против 0.34 на Airline), а состав датасета дообучения V2 не раскрыт.
Лицензия: Apache 2.0.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # ITLL/Fable-5-Thinking-Heretic-1B
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download ITLL/Fable-5-Thinking-Heretic-1B --local-dir ~/models/Fable-5-Thinking-Heretic-1B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Fable-5-Thinking-Heretic-1B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии Fable-5-Thinking-Heretic-1B — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

ITLL/Fable-5-Thinking-Heretic-1B
Автор
ITLL
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Языковые модели

Fable

Fable