Датасет · oscar-corpus
Многоязычный корпус из Common Crawl
oscar-corpus/OSCAR-2301
Огромный многоязычный текстовый корпус, полученный фильтрацией Common Crawl через Ungoliant.
Что внутри
Open Super-large Crawled Aggregated coRpus — очень большой многоязычный корпус. Получен классификацией языков и фильтрацией Common Crawl с помощью архитектуры Ungoliant. Размер превышает 1T; конкретные языки и формат в карточке не перечислены.
Что можно сделать
- Обучить многоязычную языковую модель
- Дообучить fill-mask модель
- Собрать корпус для языкового моделирования
- Задачи
- Заполнение пропусков, Генерация текста
- Размер
- больше 1T записей
- Скачиваний за месяц
- 959
- Лайков
- 187
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- BlinkDL/rwkv7-g1Генерация текста 9,6 тыс.
- mradermacher/tweety-7b-tatar-v24a-GGUF 1,7 тыс.
- TheBloke/japanese-stablelm-base-beta-70B-GGUFГенерация текста 1,6 тыс.
- BlinkDL/rwkv-6-worldГенерация текста 1,4 тыс.
- mradermacher/LeoLM-hessianai-13b-GGUF 1,3 тыс.
- TheBloke/leo-hessianai-7B-GGUFГенерация текста 1 тыс.
- BlinkDL/rwkv-5-worldГенерация текста 1 тыс.
- RWKV/RWKV7-G1j-2.9B-20260831Генерация текста 831
Как загрузить
from datasets import load_dataset
ds = load_dataset("oscar-corpus/OSCAR-2301")