Датасет · allenai
Многоязычный документный корпус на 419 языках
allenai/MADLAD-400
Документный датасет из Common Crawl на 419 языках: аудированный и сильнее отфильтрованный, чем аналоги.
Что внутри
Это документный многоязычный корпус на основе Common Crawl, охватывающий 419 языков. Использованы все снимки CommonCrawl по состоянию на 1 августа 2022 года. По карточке, он более многоязычный, аудированный и сильнее отфильтрован по сравнению с похожими датасетами; данные организованы на уровне документов. По метаданным, размер — n>1T.
Что можно сделать
- Предобучение многоязычной LLM
- Дообучение и оценка моделей для низкоресурсных языков
- Исследование фильтрации и аудита Common Crawl
- Задачи
- Генерация текста
- Размер
- больше 1T записей
- Скачиваний за месяц
- 252,1 тыс.
- Лайков
- 184
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/MADLAD-400")