Датасет · ReactiveAI
Корпус для предобучения LLM на английском и польском
ReactiveAI/Beta-Pre-Train-Corpus
Огромный очищенный текстовый и табличный корпус (100M–1B записей) с веб-текстами, наукой, математикой и кодом.
Что внутри
Корпус для предобучения моделей RxT-Beta, собранный из открытых наборов данных (включая FineWeb-Edu, MegaMath Web Pro и GitHub Code). Содержит тексты на английском и польском языках, научные и математические разделы, а также код на разных языках программирования, отфильтрованные по длине от 512–1024 до 2048 токенов. Общий размер — от 100 миллионов до 1 миллиарда примеров.
Что можно сделать
- Предобучение (pre-training) языковых моделей с поддержкой английского и польского языков
- Дообучение моделей для улучшения навыков в математике, науке и программировании
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 23,7 тыс.
- Лайков
- 0
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ReactiveAI/Beta-Pre-Train-Corpus")