Датасет · rag-datasets
Мини-Википедия для QA и поиска похожих фраз
rag-datasets/rag-mini-wikipedia
Небольшой английский текстовый набор для вопросно-ответных задач и сравнения смысловой близости предложений.
Что внутри
Текстовый датасет на английском объёмом от 1 до 10 тыс. примеров. По карточке он сделан из набора questionanswer с Kaggle: авторы сгенерировали собственное подмножество скриптом generate.py. В обсуждениях предлагают делиться примерами использования.
Что можно сделать
- Обучить или проверить модель question-answering на коротких текстах
- Настроить sentence-similarity или LoRA для поиска похожих вопросов
- Сделать небольшой бенчмарк RAG-поиска по Википедии
- Задачи
- Вопрос-ответ, Похожесть текстов
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2 тыс.
- Лайков
- 71
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("rag-datasets/rag-mini-wikipedia")