Датасет · opencsg
Китайский образовательный корпус FineWeb
opencsg/chinese-fineweb-edu
Китайский предтренировочный корпус 10–100 млн текстов, отобранных для образовательных NLP-задач.
Что внутри
Chinese Fineweb Edu — высококачественный китайский корпус для предобучения, ориентированный на образовательную сферу; проходит строгий отбор. В карточке указано, что версия устарела и рекомендуется Fineweb-edu-chinese-v2.1. Язык — китайский (zh), размер 10M<n<100M, формат в карточке не указан.
Что можно сделать
- Предобучить китайскую языковую модель
- Дообучить модель на образовательных текстах
- Собрать доменный корпус для Chinese NLP
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 13,3 тыс.
- Лайков
- 119
Как загрузить
from datasets import load_dataset
ds = load_dataset("opencsg/chinese-fineweb-edu")