К содержимому

Датасет · Muennighoff

Мультиязычный тест на разрешение кореференции XWinograd

Muennighoff/xwinograd

Схемы Винограда на шести языках, включая русский, для проверки языкового понимания LLM.

Что внутри

Мультиязычная версия теста Winograd Schema Challenge, использованная в исследованиях кросс-языкового дообучения. Содержит текстовые примеры на английском (2325), японском (959), китайском (504, с добавлением примеров из cluewsc2020), русском (315), португальском (263) и французском (83) языках.

Что можно сделать

  • Проверка способности мультиязычных LLM понимать контекст и разрешать неоднозначность местоимений
  • Оценка кросс-языкового переноса навыков (crosslingual generalization) после SFT
Языки
Английский, Французский, Японский, Португальский, Русский, Китайский
Размер
1K–10K записей
Скачиваний за месяц
38,6 тыс.
Лайков
18

Как загрузить

from datasets import load_dataset

ds = load_dataset("Muennighoff/xwinograd")