Датасет · tiiuae
Английский веб-корпус из CommonCrawl
tiiuae/falcon-refinedweb
Отфильтрованный и дедуплицированный английский веб-корпус из CommonCrawl для обучения языковых моделей.
Что внутри
Это крупный английский датасет веб-текстов, собранный TII из CommonCrawl со строгой фильтрацией и масштабной дедупликацией. В карточке указано, что модели на RefinedWeb показывают результаты на уровне или лучше обученных на курируемых данных. Датасет распространяется по лицензии ODC-By 1.0 и содержит ссылки, что делает его удобным и для мультимодальных сценариев.
Что можно сделать
- Предобучение или дообучение английской LLM на веб-текстах
- Сравнение качества фильтрации веб-данных
- Обучение токенизатора или проверка устойчивости к веб-шуму
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 16,5 тыс.
- Лайков
- 979
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("tiiuae/falcon-refinedweb")