Датасет · BramVanroy
Веб-тексты из Common Crawl с лицензией Creative Commons
BramVanroy/CommonCrawl-CreativeCommons
Огромный корпус веб-страниц (от 100 млн до 1 млрд записей) на шести европейских языках с разметкой лицензий Creative Commons.
Что внутри
Датасет представляет собой сырые выгрузки веб-страниц из Common Crawl, аннотированные информацией о наличии лицензий Creative Commons (по ссылкам в тегах или метаданных страниц). Объем составляет от 100 миллионов до 1 миллиарда текстовых записей на английском, немецком, французском, итальянском, африкаанс и фризском языках. Автор предупреждает, что при автоматическом определении лицензий возможны ложные срабатывания.
Что можно сделать
- Предобучение (pre-training) языковых моделей на юридически чистых данных
- Фильтрация крупных веб-корпусов по типу лицензии
- Обучение моделей генерации текста на европейских языках
- Задачи
- Генерация текста
- Языки
- afr, deu, eng, fra, fry, ita, nld, spa и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 43
Как загрузить
from datasets import load_dataset
ds = load_dataset("BramVanroy/CommonCrawl-CreativeCommons")