Датасет · openbmb
Очищенные предобучающие тексты UltraX
openbmb/UltraX-Preview
Крупный английский корпус, отредактированный фреймворком UltraX для предобучения языковых моделей.
Что внутри
UltraX — фреймворк с function calling, который адаптивно генерирует и выполняет функции редактирования для поточечной очистки крупномасштабных данных. Датасет относится к предобучающим текстам на английском; по метаданным его размер — от 100 млн до 1 млрд элементов. В карточке есть ссылки на статью, код и модели, но формат данных не указан.
Что можно сделать
- Предобучить небольшую языковую модель на очищенном корпусе
- Сравнить качество обучения на очищенных и сырых данных
- Настроить пайплайн очистки текстов через function calling
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 13,1 тыс.
- Лайков
- 301
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraX-Preview")