Датасет · lightonai
Крупный OCR-датасет полных страниц
lightonai/LightOnOCR-mix-0126
10–100 млн примеров OCR: полные транскрипции страниц в Markdown с LaTeX и HTML-таблицами для обучения end-to-end OCR.
Что внутри
Датасет собран дистилляцией: сильная vision-language модель создаёт естественно упорядоченные транскрипции отрендеренных страниц документов. Внутри — полные транскрипции страниц в Markdown, включая LaTeX-формулы и HTML-таблицы. Языки: en, fr, de, es, it, ja. Размер — от 10 до 100 млн примеров.
Что можно сделать
- Обучение end-to-end OCR-моделей на полные страницы
- Дообучение vision-language модели для document understanding
- Проверка качества транскрипции Markdown с формулами и таблицами
- Задачи
- Картинка → текст
- Языки
- Английский, Французский, Немецкий, Испанский, Итальянский, Японский, Русский, Польский и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 1,6 тыс.
- Лайков
- 114
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("lightonai/LightOnOCR-mix-0126")