К содержимому

Датасет · clips

Многоязычный корпус пар вопросов и ответов FAQ

clips/mfaq

Около 6 миллионов пар «вопрос — ответ» на 21 языке, собранных из интернета для систем поиска и QA.

Что внутри

Первый публично доступный многоязычный датасет часто задаваемых вопросов (FAQ), собранный из веб-источников. Согласно описанию, корпус содержит около 6 млн пар «вопрос — ответ» на 21 языке (в метаданных отмечены чешский, датский, немецкий, английский, испанский, финский; общий размер — от 10 до 100 млн записей). Данные представлены в текстовом и табличном виде.

Что можно сделать

  • Обучение и дообучение моделей поиска ответов (FAQ retrieval) и эмбеддингов
  • Тренировка многоязычных систем вопросно-ответного поиска и чат-ботов поддержки
Задачи
Вопрос-ответ
Языки
cs, da, Немецкий, Английский, Испанский, fi, Французский, he и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
2 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("clips/mfaq")