К содержимому

Датасет · storytracer

Архив немецких исторических газет (13 млрд слов)

storytracer/German-PD-Newspapers

Огромный корпус OCR-текстов из старинных немецких газет в общественном достоянии для обучения языковых моделей.

Что внутри

Внутри собрано 13 миллиардов слов (от 1 до 10 млн записей) на немецком языке, полученных с помощью OCR из исторических газет. Данные взяты из репозитория Deutsche Digitale Bibliothek и распространяются под свободными лицензиями CC0 и Public Domain.

Что можно сделать

  • Предобучение или дообучение немецкоязычных LLM с нуля
  • Адаптация языковых моделей к исторической орфографии и лексике немецкого языка
  • Обучение систем постобработки OCR для архивных документов
Задачи
Генерация текста
Языки
Немецкий
Размер
1M–10M записей
Скачиваний за месяц
820
Лайков
8

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("storytracer/German-PD-Newspapers")