Датасет · eaddario
Калибровка imatrix для LLaMA.cpp
eaddario/imatrix-calibration
Малый набор текстов для расчёта importance matrix при квантовании моделей.
Что внутри
Это калибровочные данные для генерации importance matrix (imatrix), нужной для уменьшения ошибок при квантовании моделей в LLaMA.cpp. Программа llama-imatrix не читает parquet напрямую, поэтому файлы предлагается конвертировать в текстовый формат, например через DuckDB. В карточке указаны языки ar, de, en, es, fr, hi и размер менее 1 тыс. примеров.
Что можно сделать
- Калибровка imatrix перед квантованием LLM в LLaMA.cpp
- Подготовка текстового файла для llama-imatrix
- Проверка качества квантованных моделей на многоязычных текстах
- Задачи
- Генерация текста
- Языки
- Арабский, Немецкий, Английский, Испанский, Французский, Хинди, Индонезийский, Итальянский и ещё 4
- Размер
- до 1K записей
- Скачиваний за месяц
- 9,5 тыс.
- Лайков
- 75
Модели, обученные на нём
- eaddario/JQ2_K-JQ6_K-Test-ModelsГенерация текста 6,8 тыс.
- eaddario/Dolphin3.0-R1-Mistral-24B-GGUFГенерация текста 2,7 тыс.
- eaddario/Watt-Tool-8B-GGUFГенерация текста 2,4 тыс.
- eaddario/Dolphin-Mistral-24B-Venice-Edition-GGUFГенерация текста 2,2 тыс.
- eaddario/Dolphin3.0-Mistral-24B-GGUFГенерация текста 2,2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("eaddario/imatrix-calibration")