Llama-3-Chinese-8B-GGUF
квантованная база для китайского
1 мин чтенияобновлено
Это GGUF-версия Llama-3-Chinese-8B от проекта Chinese-LLaMA-Alpaca-3: квантованные файлы для llama.cpp, ollama и tgw. Модель на 8B обучена для китайского и английского, но это foundation model — не для диалогов и QA.
Ключевые особенности
- Совместима с llama.cpp, ollama и tgw.
- Языки: китайский и английский.
- Есть кванты от Q2_K до F16; размеры — от 2.96 до 14.97 GB.
- В карточке приведена PPL для каждого кванта; меньше — лучше.
- Не предназначена для чата, вопросов-ответов и подобных задач.
Пример
Сценарий: загрузить, например, Q4_K (4.58 GB) в llama.cpp или ollama как базовую модель для китайского языка. Для диалогов и QA эта версия не подходит — в карточке это указано отдельно.
Подробнее
PPL нового Q4_K — 5.3126 ± 0.08500; у F16 — 5.1302 ± 0.08184.Размеры: Q2_K — 2.96 GB, Q8_0 — 7.95 GB, F16 — 14.97 GB.
Это квантованная версия
hfl/llama-3-chinese-8b; подробности и issues — в GitHub-проекте Chinese-LLaMA-Alpaca-3.Ограничение: foundation-модель не подходит для диалогов и QA.










Комментарии