Датасет · opencsg
Китайские образовательные тексты для pretrain и SFT
opencsg/Fineweb-Edu-Chinese-V2.2
Китайский корпус для обучения образовательных LLM: от предобучения до SFT.
Что внутри
Корпус на китайском языке охватывает полный процесс от pre-training до SFT в образовательной домене. Размер — от 10 млрд до 100 млрд по метаданным. Заявлен как высококачественный открытый датасет для китайских образовательных LLM.
Что можно сделать
- Предобучение китайской образовательной LLM
- SFT для question-answering
- Дообучение LoRA под учебные вопросы
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Китайский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 11,2 тыс.
- Лайков
- 83
Модели, обученные на нём
- Ethangou/attention-residuals-0.6B-baselineГенерация текста 33
- Ethangou/attention-residuals-100M-baselineГенерация текста 25
- Ethangou/attention-residuals-0.6B-fullГенерация текста 22
- Ethangou/attention-residuals-100M-blockГенерация текста 12
- Ethangou/attention-residuals-100M-fullГенерация текста 8
- Ethangou/attention-residuals-0.6B-blockГенерация текста 8
- ExtraX1/TinyCyclic-0.4B-BaseГенерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("opencsg/Fineweb-Edu-Chinese-V2.2")