Датасет · CohereLabsCommunity
Культурные загадки на 51 языке от носителей от Cohere Labs
CohereLabsCommunity/CulturalRiddles
Многоязычный бенчмарк оригинальных культурных загадок, написанных носителями из 62 сообществ и 45 стран.
Что внутри
Это созданный сообществом бенчмарк на базе табличных и текстовых данных (от 100 тысяч до 1 миллиона записей). Внутри собраны оригинальные культурные загадки на 51 языке (включая редкие диалекты арабского и ассамский), написанные 167 носителями языка из 62 сообществ и 45 стран. Проект подготовлен при участии Cohere Labs Community для оценки культурной осведомлённости моделей.
Что можно сделать
- Оценка культурных знаний и способности к рассуждению у языковых моделей на малоресурсных языках и диалектах
- Тестирование многоязычных моделей на понимание локального контекста и иносказаний
- Задачи
- Вопрос-ответ
- Языки
- aeb, apc, apd, ary, arz, asm, bel, ben и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 958
- Лайков
- 45
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabsCommunity/CulturalRiddles")