Датасет · Tele-AI
Большой китайский корпус для предобучения TeleChat
Tele-AI/TeleChat-PTD
Около 270 млн китайских текстов из веба, книг и СМИ для предобучения языковых моделей.
Что внутри
TeleChat-PTD — крупный китайский корпус, извлечённый из предобучения TeleChat. Данные взяты из веб-страниц, книг и официальных СМИ; применены правила и модели фильтрации, а также дедупликация по сходству. Опубликовано около 270 млн записей чисто китайского текста: исходно около 1 ТБ, после сжатия 480 ГБ, 189 файлов в JSONL с полем data.
Что можно сделать
- Предобучение китайской LLM
- Дообучение и проверка моделей на китайском
- Исследование фильтрации и дедупликации корпуса
- Скачиваний за месяц
- 11 тыс.
- Лайков
- 184
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Tele-AI/TeleChat-PTD")