Датасет · Battam
Индекс открытых данных для всех этапов обучения моделей
Battam/training-data-foundation
Каталог ссылок, хешей и лицензий на реальные публичные данные для pre-training, mid-training и post-training.
Что внутри
Датасет представляет собой публичный индекс проекта Training Data Foundation размером от 10 до 100 тысяч записей в табличном и текстовом форматах. Для каждого файла указаны его адрес, размер, контрольные хеши и лицензия, а скачивание нужных наборов (например, таблиц) выполняется одной консольной командой. Материалы ориентированы на английский и китайский языки и охватывают все стадии обучения нейросетей.
Что можно сделать
- Сбор и автоматизированная загрузка лицензионно чистых корпусов для pre-training и mid-training
- Формирование выборок данных под задачи post-training с проверкой целостности файлов по хешам
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 61 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("Battam/training-data-foundation")