Датасет · BAAI
Отраслевой текстовый корпус от BAAI на китайском и английском
BAAI/IndustryCorpus
Крупный очищенный корпус текстов объемом от 100 млн до 1 млрд записей для обучения индустриальных LLM.
Что внутри
Масштабный текстовый датасет на китайском и английском языках от Пекинской академии искусственного интеллекта (BAAI). Для его создания авторы применили 22 специализированных оператора обработки отраслевых данных. Проект решает проблему нехватки качественной и глубокой предметной информации при обучении корпоративных языковых моделей.
Что можно сделать
- Предобучение и дообучение отраслевых языковых моделей (domain-specific LLM)
- Адаптация генеративных моделей под корпоративные и индустриальные задачи
- Построение систем генерации текста с глубокой предметной экспертизой
- Задачи
- Генерация текста
- Языки
- Китайский, Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 7,8 тыс.
- Лайков
- 61
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("BAAI/IndustryCorpus")