Датасет · TigerResearch
Китайский корпус для предобучения
TigerResearch/pretrain_zh
Китайские тексты для предобучения LLM: книги, интернет-тексты и Википедия.
Что внутри
Датасет содержит китайскую часть данных для предобучения TigerBot. В карточке указаны книги (~12 ГБ), интернет-тексты (~25 ГБ) и Википедия (~19 ГБ) до сжатия. Всего от 10 до 100 млн записей; загрузка показана через datasets.
Что можно сделать
- Предобучать или дообучать китайс��ую языковую модель
- Проводить continued pretraining для LLM
- Оценивать качество языкового моделирования на китайском
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 12,1 тыс.
- Лайков
- 124
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("TigerResearch/pretrain_zh")