Датасет · oscar-corpus
OSCAR: многоязычный корпус Common Crawl
oscar-corpus/oscar
Многоязычный корпус текстов из Common Crawl, отфильтрованный по языкам; подходит для языковых моделей.
Что внутри
Это многоязычный корпус, собранный из Common Crawl. Тексты прошли классификацию и фильтрацию языков с помощью goclassy. В метаданных указаны языки af, als, am, an, ar, arz и размер 100K–1M; формат в карточке не описан.
Что можно сделать
- Обучение многоязычных masked language моделей
- Дообучение text-generation моделей на multilingual данных
- Проверка фильтрации и языковой классификации
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- af, als, am, an, Арабский, arz, as, ast и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 377
- Лайков
- 209
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("oscar-corpus/oscar")