К содержимому

Датасет · Battam

Индекс открытых данных для всех этапов обучения моделей

Battam/training-data-foundation

Каталог ссылок, хешей и лицензий на реальные публичные данные для pre-training, mid-training и post-training.

Что внутри

Датасет представляет собой публичный индекс проекта Training Data Foundation размером от 10 до 100 тысяч записей в табличном и текстовом форматах. Для каждого файла указаны его адрес, размер, контрольные хеши и лицензия, а скачивание нужных наборов (например, таблиц) выполняется одной консольной командой. Материалы ориентированы на английский и китайский языки и охватывают все стадии обучения нейросетей.

Что можно сделать

  • Сбор и автоматизированная загрузка лицензионно чистых корпусов для pre-training и mid-training
  • Формирование выборок данных под задачи post-training с проверкой целостности файлов по хешам
Размер
10K–100K записей
Скачиваний за месяц
61 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("Battam/training-data-foundation")