Датасет · dell-research-harvard
Исторические новостные телеграммы США
dell-research-harvard/newswire
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
Что внутри
Это корпус из 2,7 млн уникальных общедоступных новостных статей США. В нём есть геопривязка мест, тематические метки, распознанные именованные сущности и привязка людей к Wikipedia. Язык — английский; данные представлены в табличном и текстовом виде.
Что можно сделать
- Обучить модель тематической классификации исторических новостей
- Проверить summarization и question-answering на архивных текстах
- Настроить retrieval и entity linking по новостям
- Задачи
- Классификация текста, Генерация текста, Поиск по текстам, Суммаризация, Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 10,4 тыс.
- Лайков
- 94
Как загрузить
from datasets import load_dataset
ds = load_dataset("dell-research-harvard/newswire")