Датасет · PleIAs
Многоязычный корпус для post-OCR коррекции
PleIAs/Post-OCR-Correction
Тексты с OCR-ошибками и исправлениями на французском, английском, итальянском и немецком.
Что внутри
Корпус примерно на 1 млрд слов: исходные тексты с разным числом OCR-ошибок и экспериментальный многоязычный вывод post-OCR коррекции от Pleias. Тексты взяты из коллекций Common Corpus. Языки: французский, английский, итальянский и немецкий; модальности — табличные данные и текст. Генерация выполнялась на HPC-ресурсах GENCI–IDRIS.
Что можно сделать
- Обучить или дообучить LoRA для post-OCR коррекции
- Проверить OCR-пайплайн на многоязычных текстах
- Дообучить seq2seq-модель исправления OCR-ошибок
- Языки
- Французский, Английский, Итальянский, Немецкий
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 949
- Лайков
- 135
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("PleIAs/Post-OCR-Correction")