Мультиязычный бенчмарк XTREME

Что внутри

Карточка описывает XNLI: 5 000 тестовых и 2 500 dev-пар из MultiNLI с разметкой textual entailment, переведённые на 14 языков, включая русский, арабский, китайский и хинди. Всего указано 112,5 тыс. размеченных пар. В метаданных также перечислены задачи multiple-choice, question-answering, token-classification, text-classification и text-retrieval; формат в карточке не уточнён.

Что можно сделать

• Оценить кросс-языковой NLI
• Дообучить мультиязычный классификатор текста
• Проверить zero-shot перенос на другие языки

Модели, обученные на нём

• OmarMaqousi/ner-arabic-modelРазметка токенов 200
• kkkamur07/hindi-modernbertЗаполнение пропусков 40
• ShkalikovOleh/xlm-roberta-large-panx-wikiann-enРазметка токенов 19
• avanishd/xlm-roberta-base-finetuned-panx-de-fr-en-itРазметка токенов 13
• OmarMaqousi/ner-arabicbertРазметка токенов 11

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/xtreme")