К содержимому

Датасет · common-pile

Тексты описаний видео YouTube под лицензией CC BY

common-pile/youtube

Вручную отобранные описания более 2000 YouTube-каналов с лицензией Creative Commons.

Что внутри

Содержит англоязычные текстовые данные объемом от 1 до 10 миллионов примеров. Сформирован вручную из более чем 2000 каналов YouTube, которые стабильно выпускают оригинальный контент под лицензией CC BY для борьбы с фальсификацией лицензий.

Что можно сделать

  • Предобучение языковых моделей на качественных веб-текстах
  • Исследование открытого речевого и текстового контента с YouTube
  • Создание разнообразных текстовых корпусов
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
1,1 тыс.
Лайков
14

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("common-pile/youtube")