Датасет · clips
Огромный мультиязычный корпус вопросов и ответов из веба
clips/mqa
От сотен миллионов до миллиарда пар вопрос-ответ на 6 языках, включая русский, собранных из Common Crawl.
Что внутри
Внутри находятся текстовые пары вопросов и ответов, извлечённые из веб-архива Common Crawl. Данные разделены на две категории: страницы с часто задаваемыми вопросами (FAQ) и форумы/сервисы вопросов и ответов (CQA). Корпус охватывает шесть языков (английский, русский, немецкий, французский, испанский и каталанский) и насчитывает от 100 миллионов до 1 миллиарда записей.
Что можно сделать
- Предобучение и дообучение мультиязычных моделей для поиска ответов (QA) и RAG-систем
- Обучение эмбеддингов и реранкеров для семантического поиска на русском и европейских языках
- Фильтрация и генерация синтетических диалоговых данных
- Задачи
- Вопрос-ответ
- Языки
- ca, Английский, Немецкий, Испанский, Французский, Русский, Японский, Итальянский и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 4,3 тыс.
- Лайков
- 58
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("clips/mqa")