К содержимому

Датасет · BramVanroy

Веб-тексты из Common Crawl с лицензией Creative Commons

BramVanroy/CommonCrawl-CreativeCommons

Огромный корпус веб-страниц (от 100 млн до 1 млрд записей) на шести европейских языках с разметкой лицензий Creative Commons.

Что внутри

Датасет представляет собой сырые выгрузки веб-страниц из Common Crawl, аннотированные информацией о наличии лицензий Creative Commons (по ссылкам в тегах или метаданных страниц). Объем составляет от 100 миллионов до 1 миллиарда текстовых записей на английском, немецком, французском, итальянском, африкаанс и фризском языках. Автор предупреждает, что при автоматическом определении лицензий возможны ложные срабатывания.

Что можно сделать

  • Предобучение (pre-training) языковых моделей на юридически чистых данных
  • Фильтрация крупных веб-корпусов по типу лицензии
  • Обучение моделей генерации текста на европейских языках
Задачи
Генерация текста
Языки
afr, deu, eng, fra, fry, ita, nld, spa и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
1,8 тыс.
Лайков
43

Как загрузить

from datasets import load_dataset

ds = load_dataset("BramVanroy/CommonCrawl-CreativeCommons")