К содержимому

Датасет · CohereLabsCommunity

Культурные загадки на 51 языке от носителей от Cohere Labs

CohereLabsCommunity/CulturalRiddles

Многоязычный бенчмарк оригинальных культурных загадок, написанных носителями из 62 сообществ и 45 стран.

Что внутри

Это созданный сообществом бенчмарк на базе табличных и текстовых данных (от 100 тысяч до 1 миллиона записей). Внутри собраны оригинальные культурные загадки на 51 языке (включая редкие диалекты арабского и ассамский), написанные 167 носителями языка из 62 сообществ и 45 стран. Проект подготовлен при участии Cohere Labs Community для оценки культурной осведомлённости моделей.

Что можно сделать

  • Оценка культурных знаний и способности к рассуждению у языковых моделей на малоресурсных языках и диалектах
  • Тестирование многоязычных моделей на понимание локального контекста и иносказаний
Задачи
Вопрос-ответ
Языки
aeb, apc, apd, ary, arz, asm, bel, ben и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
958
Лайков
45

Как загрузить

from datasets import load_dataset

ds = load_dataset("CohereLabsCommunity/CulturalRiddles")