Датасет · Muennighoff
Мультиязычный тест на разрешение кореференции XWinograd
Muennighoff/xwinograd
Схемы Винограда на шести языках, включая русский, для проверки языкового понимания LLM.
Что внутри
Мультиязычная версия теста Winograd Schema Challenge, использованная в исследованиях кросс-языкового дообучения. Содержит текстовые примеры на английском (2325), японском (959), китайском (504, с добавлением примеров из cluewsc2020), русском (315), португальском (263) и французском (83) языках.
Что можно сделать
- Проверка способности мультиязычных LLM понимать контекст и разрешать неоднозначность местоимений
- Оценка кросс-языкового переноса навыков (crosslingual generalization) после SFT
- Языки
- Английский, Французский, Японский, Португальский, Русский, Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 38,6 тыс.
- Лайков
- 18
Как загрузить
from datasets import load_dataset
ds = load_dataset("Muennighoff/xwinograd")