Датасет · themohal
Бенчмарк для оценки LLM на языке сирайки
themohal/saraiki-llm-bench
Набор из семи тестовых задач для проверки качества и безопасности языковых моделей на малоресурсном языке сирайки.
Что внутри
Внутри лежат текстовые задания на языке сирайки (письменность шахмукхи) для проверки знаний (включая аналог MMLU), математики, следования инструкциям и безопасности. Общий объём составляет от 1 до 10 тысяч записей, разделённых на тестовую выборку и небольшой dev-сплит для few-shot примеров. Датасет предназначен строго для оценки моделей, обучать на нём запрещено.
Что можно сделать
- Оценка мультиязычных LLM на понимание малоресурсного языка сирайки
- Тестирование моделей на следование инструкциям и безопасность в few-shot и zero-shot режимах
- Задачи
- Вопрос-ответ, multiple choice, Генерация текста
- Языки
- skr
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 48,3 тыс.
- Лайков
- 0
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("themohal/saraiki-llm-bench")