К содержимому

Датасет · clips

Огромный мультиязычный корпус вопросов и ответов из веба

clips/mqa

От сотен миллионов до миллиарда пар вопрос-ответ на 6 языках, включая русский, собранных из Common Crawl.

Что внутри

Внутри находятся текстовые пары вопросов и ответов, извлечённые из веб-архива Common Crawl. Данные разделены на две категории: страницы с часто задаваемыми вопросами (FAQ) и форумы/сервисы вопросов и ответов (CQA). Корпус охватывает шесть языков (английский, русский, немецкий, французский, испанский и каталанский) и насчитывает от 100 миллионов до 1 миллиарда записей.

Что можно сделать

  • Предобучение и дообучение мультиязычных моделей для поиска ответов (QA) и RAG-систем
  • Обучение эмбеддингов и реранкеров для семантического поиска на русском и европейских языках
  • Фильтрация и генерация синтетических диалоговых данных
Задачи
Вопрос-ответ
Языки
ca, Английский, Немецкий, Испанский, Французский, Русский, Японский, Итальянский и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
4,3 тыс.
Лайков
58

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("clips/mqa")