К содержимому

Датасет · approximatelabs

627 млн таблиц из GitHub и Common Crawl

approximatelabs/tablib-v1-full

Корпус таблиц с метаданными происхождения и контекстом для обучения табличных моделей.

Что внутри

Датасет содержит 627 млн таблиц (69 ТиБ), извлечённых из HTML, PDF, CSV, TSV, Excel и SQLite в GitHub и Common Crawl. Это минимально предобработанные таблицы плюс 867 млрд токенов контекстных метаданных: происхождение, имя файла, текст до/после, HTML-метаданные. Есть уменьшенная выборка 0,1%; формат хранения в карточке не указан.

Что можно сделать

  • Предобучить модель понимания таблиц
  • Обучить извлечение таблиц и контекста
  • Использовать метаданные для retrieval по таблицам
Размер
10B–100B записей
Скачиваний за месяц
19,5 тыс.
Лайков
70
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("approximatelabs/tablib-v1-full")