ask-the-author-0.8b GGUF
компактная «память» книги для локального запуска
1 мин чтенияобновлено
Это GGUF-квант модели ask-the-author-0.8b на базе Qwen3.5-0.8B с гибридной архитектурой linear_attention + full_attention (QWEN35). Модель на китайском языке обучена работать как «память» книги «图原生智能体»: отвечает по содержанию, номерам глав и заголовкам. Конвертация выполнена через llama.cpp b12144.
Ключевые особенности
- Три кванта:
bf16— 1.5 GB,Q8_0— 775 MB,Q4_K_M— 505 MB. Q4_K_Mподходит для лёгкого деплоя, телефонов и систем с небольшим объёмом VRAM.- Дефолтная персона «память книги» уже встроена в chat template — можно запускать без system prompt.
- Свой system prompt автоматически перекрывает дефолтную персону.
- Модель отдаёт цепочку рассуждений
<think>, llama.cpp показывает её как reasoning.
Пример
llama-cli -m ask-the-author-0.8b-q4_k_m.gguf -p "这本书讲的是什么?" -n 1024 --temp 0 --single-turn
Подробнее
Для максимально точных ответов советуют--temp 0; для творческих вопросов — --temp 0.6.Файлы
.gguf можно импортировать в LM Studio или Ollama без доп. настройки.Язык модели — китайский; карточка описывает её как модель для воспроизведения содержимого конкретной книги.










Комментарии