Датасет · storytracer
Архив немецких исторических газет (13 млрд слов)
storytracer/German-PD-Newspapers
Огромный корпус OCR-текстов из старинных немецких газет в общественном достоянии для обучения языковых моделей.
Что внутри
Внутри собрано 13 миллиардов слов (от 1 до 10 млн записей) на немецком языке, полученных с помощью OCR из исторических газет. Данные взяты из репозитория Deutsche Digitale Bibliothek и распространяются под свободными лицензиями CC0 и Public Domain.
Что можно сделать
- Предобучение или дообучение немецкоязычных LLM с нуля
- Адаптация языковых моделей к исторической орфографии и лексике немецкого языка
- Обучение систем постобработки OCR для архивных документов
- Задачи
- Генерация текста
- Языки
- Немецкий
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 820
- Лайков
- 8
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("storytracer/German-PD-Newspapers")