Датасет · legacy-datasets
Очищенный многоязычный Common Crawl
legacy-datasets/mc4
Очищенная многоязычная версия веб-корпуса Common Crawl на основе mC4 от AllenAI.
Что внутри
Это обработанная версия набора mC4 от AllenAI, основанная на Common Crawl. Корпус содержит очищенные веб-тексты на многих языках, включая африкаанс, амхарский, арабский, азербайджанский, белорусский и болгарский. В метаданных размер указан как n<1K.
Что можно сделать
- Предобучить многоязычную модель на веб-текстах
- Проверить fill-mask на разных языках
- Оценить покрытие языков в Common Crawl
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- af, am, Арабский, az, be, bg, bn, ca и ещё 4
- Размер
- до 1K записей
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 163
Модели, обученные на нём
- megagonlabs/transformers-ud-japanese-electra-base-ginza-v5.3 10,5 тыс.
- megagonlabs/transformers-ud-japanese-electra-base-ginza 4,8 тыс.
- rasyosef/Llama-3.2-400M-AmharicГенерация текста 625
- sixfingerdev/kayra-1Генерация текста 570
- unicamp-dl/ptt5-v2-largeГенерация текста 362
- sixfingerdev/kayra-1-expГенерация текста 355
- unicamp-dl/ptt5-v2-baseГенерация текста 249
- dsfsi/BantuBERTaЗаполнение пропусков 102
Как загрузить
from datasets import load_dataset
ds = load_dataset("legacy-datasets/mc4")