Датасет · approximatelabs
627 млн таблиц из GitHub и Common Crawl
approximatelabs/tablib-v1-full
Корпус таблиц с метаданными происхождения и контекстом для обучения табличных моделей.
Что внутри
Датасет содержит 627 млн таблиц (69 ТиБ), извлечённых из HTML, PDF, CSV, TSV, Excel и SQLite в GitHub и Common Crawl. Это минимально предобработанные таблицы плюс 867 млрд токенов контекстных метаданных: происхождение, имя файла, текст до/после, HTML-метаданные. Есть уменьшенная выборка 0,1%; формат хранения в карточке не указан.
Что можно сделать
- Предобучить модель понимания таблиц
- Обучить извлечение таблиц и контекста
- Использовать метаданные для retrieval по таблицам
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 19,5 тыс.
- Лайков
- 70
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("approximatelabs/tablib-v1-full")