Fable-5-Thinking-Heretic-1B
компактная модель с «размышлениями» и вызовом функций
3 min read
Лёгкая языковая модель на 1.08 миллиарда параметров, созданная для локального запуска на ноутбуках, смартфонах и видеокартах с небольшим объёмом памяти. В её основе лежит архитектура Llama от OpenBMB (MiniCPM5-1B), дообученная автором GnLOLot на трассировках Fable 5 ради вызова внешних инструментов (tool calling) и написания кода, а затем очищенная от встроенных отказов с помощью утилиты Heretic. Репозиторий от WithinUsAI представляет собой зеркало оригинальной сборки от saidutta69 с полным набором квантизаций (сжатых версий весов) в формате GGUF. Модель пригодится разработчикам локальных ИИ-агентов и тем, кому нужна быстрая автономная нейросеть без жёсткой цензуры.
Ключевые особенности
- Режим рассуждений: поддерживает переключатель
enable_thinking, позволяя модели выстраивать цепочку мыслей (chain-of-thought) перед выдачей финального ответа или отвечать сразу. - Улучшенный вызов функций: дообучение V2 нацелено на работу с API и генерацию структурированных XML-вызовов инструментов по нативному шаблону MiniCPM5.
- Снятие отказов (abliteration): направленное редактирование весов через Heretic v1.4.0 снизило долю отказов на тестовых промптах с 93/100 до 3/100 при минимальном отклонении от исходного поведения (KL divergence 0.0232).
- Контекст 128K и двуязычность: окно контекста составляет 131 072 токена, модель поддерживает английский и китайский языки.
- 15 вариантов GGUF: в репозитории собраны версии от сверхлёгкой
Q2_K(0.49 ГБ) до полноразмернойF16(2.17 ГБ), а также исходные весаsafetensors.
Что можно сделать
- Собрать локального ИИ-агента: подключить модель через бэкенд SGLang со встроенным парсером
minicpm5для преобразования XML-вызовов в стандартныеtool_calls, совместимые с OpenAI API. - Запустить на слабом железе: использовать квантизации
IQ4_XS(0.64 ГБ) илиQ4_K_M(0.69 ГБ) на ноутбуках, видеокартах с 6–8 ГБ видеопамяти, Apple Silicon или в оперативной памяти CPU. - Решать задачи с прозрачной логикой: применять режим
Thinkдля пошагового разбора кода и сложных инструкций, скрывая блок рассуждений от конечного пользователя на уровне приложения.
Пример
Для запуска в агентских сценариях рекомендуется использовать SGLang со встроенным парсером minicpm5, который переводит нативные XML-вызовы функций модели в формат OpenAI tool_calls. В стандартном чат-шаблоне режим рассуждений управляется параметром enable_thinking, а размер файла выбирается под объём памяти (например, Q4_K_M на 0.69 ГБ + около 1 ГБ под контекст).
Подробнее
Бенчмарки дообучения V2 против базовой MiniCPM5-1B: API-Bank вырос с 7.30% до 22.10% (+14.80), BFCL live — с 60.24% до 63.33% (+3.09), BFCL non_live — с 41.51% до 43.06%.Требования к железу: для Q8_0 (1.15 ГБ) рекомендовано 24 ГБ VRAM, для Q6_K — 16 ГБ, для Q5_K_M — 12 ГБ, для Q4_K_M — 8 ГБ или Apple Silicon/CPU, для IQ4_XS — от 6 ГБ (плюс ~1 ГБ под контекст).
Ограничения: это зеркало сборки saidutta69 без изменений; на многошаговых агентских тестах Tau-Bench прирост минимален (0.36 против 0.34 на Airline), а состав датасета дообучения V2 не раскрыт.
Лицензия: Apache 2.0.










Comments