К содержимому

Датасет · ReactiveAI

Корпус для предобучения LLM на английском и польском

ReactiveAI/Beta-Pre-Train-Corpus

Огромный очищенный текстовый и табличный корпус (100M–1B записей) с веб-текстами, наукой, математикой и кодом.

Что внутри

Корпус для предобучения моделей RxT-Beta, собранный из открытых наборов данных (включая FineWeb-Edu, MegaMath Web Pro и GitHub Code). Содержит тексты на английском и польском языках, научные и математические разделы, а также код на разных языках программирования, отфильтрованные по длине от 512–1024 до 2048 токенов. Общий размер — от 100 миллионов до 1 миллиарда примеров.

Что можно сделать

  • Предобучение (pre-training) языковых моделей с поддержкой английского и польского языков
  • Дообучение моделей для улучшения навыков в математике, науке и программировании
Размер
100M–1B записей
Скачиваний за месяц
23,7 тыс.
Лайков
0

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ReactiveAI/Beta-Pre-Train-Corpus")