Датасет · glnmario
Новостные статьи CNN с вопросами и саммари
glnmario/news-qa-summarization
Корпус новостей CNN для одновременного обучения и оценки суммаризации и поиска ответов.
Что внутри
Текстовый датасет на английском языке, объединяющий статьи CNN на пересечении известных корпусов NewsQA и CNN/DailyMail. Каждая новостная заметка снабжена кратким пересказом (summary), а также списком вопросов и ответов по тексту. Размер набора находится в диапазоне от 10 до 100 тысяч записей.
Что можно сделать
- SFT-дообучение языковых моделей на задачах суммаризации и вопросно-ответного поиска (QA)
- Проверка качества RAG-систем и извлечения фактов из новостных текстов
- Задачи
- Суммаризация, Вопрос-ответ, Поиск по текстам, Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 100
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("glnmario/news-qa-summarization")