Датасет · oscar-corpus
Многоязычный корпус из Common Crawl
oscar-corpus/OSCAR-2201
Огромный многоязычный текст из Common Crawl, отфильтрованный по языкам для обучения языковых моделей.
Что внутри
OSCAR — открытый супербольшой корпус, полученный классификацией и фильтрацией Common Crawl с помощью Ungoliant. В версии 2201 представлены многие языки, включая африкаанс, албанский, амхарский, арабский и армянский. Данные текстовые, задачи — fill-mask и text-generation; размер в карточке не указан.
Что можно сделать
- предобучение многоязычной языковой модели
- fine-tune для fill-mask
- адаптация модели под редкие языки
- Задачи
- Заполнение пропусков, Генерация текста
- Языки
- af, sq, am, Арабский, an, hy, as, ast и ещё 4
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 137
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- TheBloke/japanese-stablelm-base-beta-70B-GGUFГенерация текста 1,6 тыс.
- stabilityai/japanese-stablelm-base-alpha-7bГенерация текста 791
- stabilityai/japanese-stablelm-base-ja_vocab-beta-7bГенерация текста 733
- stabilityai/japanese-stablelm-base-beta-7bГенерация текста 721
- stabilityai/japanese-stablelm-base-beta-70bГенерация текста 717
- mradermacher/japanese-stablelm-3b-4e1t-base-i1-GGUF 485
- stabilityai/japanese-stablelm-base-gamma-7bГенерация текста 483
- stabilityai/japanese-stablelm-3b-4e1t-baseГенерация текста 431
Как загрузить
from datasets import load_dataset
ds = load_dataset("oscar-corpus/OSCAR-2201")