Датасет · facebook
Синтетические тексты Recycling the Web
facebook/recycling_the_web
44,4 млрд токенов высококачественного синтетического текста на английском, отфильтрованного моделью.
Что внутри
Датасет содержит 44,4 млрд токенов синтетических текстов на английском языке. Его получили по подходу REWIRE: брали документы средней качества, прошедшие rule-based фильтры, и с помощью Llama-3.3-70B-Instruct определяли назначение текста и переписывали его в улучшенном виде. Размер по метаданным — от 10 млн до 100 млн примеров.
Что можно сделать
- Предобучение и дообучение LLM на синтетике
- Эксперименты с REWIRE-переписыванием текстов
- Сравнение синтетических и исходных веб-данных
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 1,6 тыс.
- Лайков
- 69
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/recycling_the_web")