К содержимому

Датасет · biglam

Исторические газеты Европы

biglam/europeana_newspapers

Тексты европейских газет XVIII — начала XX века для обучения и исследований.

Что внутри

Датасет собран из исторических газет Europeana и обработан BigLAM. В нём около 32 млрд токенов на нескольких европейских языках, включая немецкий, французский, греческий, эстонский, финский и хорватский. Текст извлечён из ALTO XML; модальности включают изображения, таблицы и текст.

Что можно сделать

  • Обучить языковую модель на исторических текстах
  • Проверить OCR и посткоррекцию газетных сканов
  • Искать материалы для цифровой гуманитаристики
Задачи
Генерация текста
Языки
Немецкий, Французский, el, et, fi, hr, ji, Польский и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
3,1 тыс.
Лайков
69

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("biglam/europeana_newspapers")