Датасет · clips
Многоязычный корпус пар вопросов и ответов FAQ
clips/mfaq
Около 6 миллионов пар «вопрос — ответ» на 21 языке, собранных из интернета для систем поиска и QA.
Что внутри
Первый публично доступный многоязычный датасет часто задаваемых вопросов (FAQ), собранный из веб-источников. Согласно описанию, корпус содержит около 6 млн пар «вопрос — ответ» на 21 языке (в метаданных отмечены чешский, датский, немецкий, английский, испанский, финский; общий размер — от 10 до 100 млн записей). Данные представлены в текстовом и табличном виде.
Что можно сделать
- Обучение и дообучение моделей поиска ответов (FAQ retrieval) и эмбеддингов
- Тренировка многоязычных систем вопросно-ответного поиска и чат-ботов поддержки
- Задачи
- Вопрос-ответ
- Языки
- cs, da, Немецкий, Английский, Испанский, fi, Французский, he и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 2 тыс.
- Лайков
- 38
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("clips/mfaq")