Датасет · google
Мультиязычный бенчмарк вопросов и ответов
google/xquad
Параллельный корпус из 1 190 вопросов и ответов на 10+ языках для проверки кросс-язычного QA.
Что внутри
В основе лежат 240 абзацев и 1 190 пар «вопрос — ответ» из проверочной выборки SQuAD v1.1. Тексты профессионально переведены на десять языков, включая русский, испанский, немецкий, греческий, турецкий, арабский, вьетнамский, тайский и китайский.
Что можно сделать
- Оценка качества мультиязычных LLM в задачах поиска ответов по тексту (QA)
- Проверка способности моделей переносить знания между языками без дообучения
- Тестирование RAG-систем на многоязычных базах знаний
- Задачи
- Вопрос-ответ
- Языки
- Арабский, Немецкий, el, Английский, Испанский, Хинди, ro, Русский и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 12,8 тыс.
- Лайков
- 43
Модели, обученные на нём
- mzahran1/arabic-english-e5-small-retrievalПохожесть текстов 107
- mzahran1/arabic-english-reranker-mminilmtext ranking 77
- runelab-ai/Vor-LateEmbed-TR-0.6B-v1Похожесть текстов 71
- Guru0381/krino-2bКлассификация текста 37
- Werea-co/Werea-TR-QAВопрос-ответ 33
- GoktugD/Werea-TR-QAВопрос-ответ 12
- girenit/girenit-TR-QAВопрос-ответ 11
- thelamapi/Next-TraceВопрос-ответ 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/xquad")