К содержимому

Датасет · BAAI

Отраслевой текстовый корпус от BAAI на китайском и английском

BAAI/IndustryCorpus

Крупный очищенный корпус текстов объемом от 100 млн до 1 млрд записей для обучения индустриальных LLM.

Что внутри

Масштабный текстовый датасет на китайском и английском языках от Пекинской академии искусственного интеллекта (BAAI). Для его создания авторы применили 22 специализированных оператора обработки отраслевых данных. Проект решает проблему нехватки качественной и глубокой предметной информации при обучении корпоративных языковых моделей.

Что можно сделать

  • Предобучение и дообучение отраслевых языковых моделей (domain-specific LLM)
  • Адаптация генеративных моделей под корпоративные и индустриальные задачи
  • Построение систем генерации текста с глубокой предметной экспертизой
Задачи
Генерация текста
Языки
Китайский, Английский
Размер
100M–1B записей
Скачиваний за месяц
7,8 тыс.
Лайков
61

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("BAAI/IndustryCorpus")