К содержимому

Датасет · ByteDance-Seed

Синтетический корпус перефразированного Fineweb-Edu

ByteDance-Seed/mga-fineweb-edu

Аугментированный текстовый корпус от ByteDance для предобучения языковых моделей.

Что внутри

Синтетический датасет для претрейна языковых моделей на английском языке, созданный исследователями ByteDance-Seed на основе SmolLM Corpus. Каждый исходный документ был переписан в 5 новых вариантов с учётом разных комбинаций жанров и целевых аудиторий, что увеличило объём токенов в 3,9 раза. Размер корпуса составляет от 100 миллионов до 1 миллиарда записей.

Что можно сделать

  • Предобучение (pretraining) и дообучение (continued pretraining) больших языковых моделей
  • Исследование влияния синтетической аугментации данных на качество генерации текста
Задачи
Генерация текста
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
2,6 тыс.
Лайков
44

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ByteDance-Seed/mga-fineweb-edu")