Датасет · biglam
Исторические газеты Европы
biglam/europeana_newspapers
Тексты европейских газет XVIII — начала XX века для обучения и исследований.
Что внутри
Датасет собран из исторических газет Europeana и обработан BigLAM. В нём около 32 млрд токенов на нескольких европейских языках, включая немецкий, французский, греческий, эстонский, финский и хорватский. Текст извлечён из ALTO XML; модальности включают изображения, таблицы и текст.
Что можно сделать
- Обучить языковую модель на исторических текстах
- Проверить OCR и посткоррекцию газетных сканов
- Искать материалы для цифровой гуманитаристики
- Задачи
- Генерация текста
- Языки
- Немецкий, Французский, el, et, fi, hr, ji, Польский и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 69
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("biglam/europeana_newspapers")