К содержимому

Датасет · PleIAs

Архив американских газет в общественном достоянии

PleIAs/US-PD-Newspapers

Огромный корпус оцифрованных исторических газет США на английском языке для обучения языковых моделей.

Что внутри

Собрание оцифрованных Библиотекой Конгресса США выпусков американских газет из проекта Chronicling America. В корпусе от 10 до 100 миллионов записей (почти 21 миллион уникальных материалов и около 100 миллиардов слов) на английском языке, полностью свободных от авторских прав.

Что можно сделать

  • Предобучение больших языковых моделей (LLM) на легально чистых данных
  • Исследования в области исторической лингвистики и анализа прессы
Задачи
Генерация текста
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
33,5 тыс.
Лайков
50

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("PleIAs/US-PD-Newspapers")