Датасет · common-pile
Тексты описаний видео YouTube под лицензией CC BY
common-pile/youtube
Вручную отобранные описания более 2000 YouTube-каналов с лицензией Creative Commons.
Что внутри
Содержит англоязычные текстовые данные объемом от 1 до 10 миллионов примеров. Сформирован вручную из более чем 2000 каналов YouTube, которые стабильно выпускают оригинальный контент под лицензией CC BY для борьбы с фальсификацией лицензий.
Что можно сделать
- Предобучение языковых моделей на качественных веб-текстах
- Исследование открытого речевого и текстового контента с YouTube
- Создание разнообразных текстовых корпусов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 14
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("common-pile/youtube")