Датасет · BAAI
Отраслевой корпус для обучения промышленных LLM
BAAI/IndustryCorpus2
Крупный корпус отраслевых текстов на английском и китайском для обучения и дообучения промышленных моделей.
Что внутри
IndustryCorpus2 от BAAI — крупный корпус отраслевых данных на английском и китайском для обучения промышленных LLM. Это обновление июньского IndustryCorpus: авторы усилили объём, качество и профессиональность данных. Формат — tabular и text, размер 100M<n<1B.
Что можно сделать
- Предобучить или дообучить отраслевую LLM
- Адаптировать модель под промышленные домены
- Проверить качество доменной генерации и понимания текстов
- Языки
- Английский, Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 3,2 тыс.
- Лайков
- 79
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- mika127/mini_qwen_ptГенерация текста 349
- qiufengqijun/mini_qwen_dpoГенерация текста 27
- qiufengqijun/mini_qwen_ptГенерация текста 25
- qiufengqijun/mini_qwen_pt3Генерация текста 25
- qiufengqijun/mini_qwen_pt2Генерация текста 24
- qiufengqijun/mini_qwen_sft_checkpoint-15461Генерация текста 23
- qiufengqijun/mini_qwen_pt1Генерация текста 22
- qiufengqijun/mini_qwen_sft_checkpoint-7730Генерация текста 22
Как загрузить
from datasets import load_dataset
ds = load_dataset("BAAI/IndustryCorpus2")