Датасет · ByteDance-Seed
Синтетический корпус перефразированного Fineweb-Edu
ByteDance-Seed/mga-fineweb-edu
Аугментированный текстовый корпус от ByteDance для предобучения языковых моделей.
Что внутри
Синтетический датасет для претрейна языковых моделей на английском языке, созданный исследователями ByteDance-Seed на основе SmolLM Corpus. Каждый исходный документ был переписан в 5 новых вариантов с учётом разных комбинаций жанров и целевых аудиторий, что увеличило объём токенов в 3,9 раза. Размер корпуса составляет от 100 миллионов до 1 миллиарда записей.
Что можно сделать
- Предобучение (pretraining) и дообучение (continued pretraining) больших языковых моделей
- Исследование влияния синтетической аугментации данных на качество генерации текста
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 44
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ByteDance-Seed/mga-fineweb-edu")