К содержимому

Датасет · glnmario

Новостные статьи CNN с вопросами и саммари

glnmario/news-qa-summarization

Корпус новостей CNN для одновременного обучения и оценки суммаризации и поиска ответов.

Что внутри

Текстовый датасет на английском языке, объединяющий статьи CNN на пересечении известных корпусов NewsQA и CNN/DailyMail. Каждая новостная заметка снабжена кратким пересказом (summary), а также списком вопросов и ответов по тексту. Размер набора находится в диапазоне от 10 до 100 тысяч записей.

Что можно сделать

  • SFT-дообучение языковых моделей на задачах суммаризации и вопросно-ответного поиска (QA)
  • Проверка качества RAG-систем и извлечения фактов из новостных текстов
Задачи
Суммаризация, Вопрос-ответ, Поиск по текстам, Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
100
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("glnmario/news-qa-summarization")