Датасет · PleIAs
Архив американских газет в общественном достоянии
PleIAs/US-PD-Newspapers
Огромный корпус оцифрованных исторических газет США на английском языке для обучения языковых моделей.
Что внутри
Собрание оцифрованных Библиотекой Конгресса США выпусков американских газет из проекта Chronicling America. В корпусе от 10 до 100 миллионов записей (почти 21 миллион уникальных материалов и около 100 миллиардов слов) на английском языке, полностью свободных от авторских прав.
Что можно сделать
- Предобучение больших языковых моделей (LLM) на легально чистых данных
- Исследования в области исторической лингвистики и анализа прессы
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 33,5 тыс.
- Лайков
- 50
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("PleIAs/US-PD-Newspapers")