Датасет · statmt
Многоязычный корпус из CommonCrawl
statmt/cc100
Монолингвальные тексты на 100+ языках из снимков CommonCrawl 2018 года.
Что внутри
Корпус воссоздаёт данные, использовавшиеся для обучения XLM-R. Он содержит монолингвальные тексты на 100+ языках, включая романизированные варианты с суффиксом *_rom. Данные собраны из снимков CommonCrawl за январь–декабрь 2018 года через открытый CC-Net; документы разделены двойными переводами строк, абзацы — одиночными.
Что можно сделать
- Предобучение и дообучение многоязычных языковых моделей
- Обучение fill-mask и text-generation на многих языках
- Проверка многоязычного retrieval и языковых моделей
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- af, am, Арабский, as, az, be, bg, bn и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 107
Как загрузить
from datasets import load_dataset
ds = load_dataset("statmt/cc100")