К содержимому

Датасет · themohal

Бенчмарк для оценки LLM на языке сирайки

themohal/saraiki-llm-bench

Набор из семи тестовых задач для проверки качества и безопасности языковых моделей на малоресурсном языке сирайки.

Что внутри

Внутри лежат текстовые задания на языке сирайки (письменность шахмукхи) для проверки знаний (включая аналог MMLU), математики, следования инструкциям и безопасности. Общий объём составляет от 1 до 10 тысяч записей, разделённых на тестовую выборку и небольшой dev-сплит для few-shot примеров. Датасет предназначен строго для оценки моделей, обучать на нём запрещено.

Что можно сделать

  • Оценка мультиязычных LLM на понимание малоресурсного языка сирайки
  • Тестирование моделей на следование инструкциям и безопасность в few-shot и zero-shot режимах
Задачи
Вопрос-ответ, multiple choice, Генерация текста
Языки
skr
Размер
1K–10K записей
Скачиваний за месяц
48,3 тыс.
Лайков
0
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("themohal/saraiki-llm-bench")