Датасет · HuggingFaceFW
Очищенный англоязычный веб-корпус
HuggingFaceFW/fineweb
Более 18,5 трлн токенов очищенных и дедуплицированных англоязычных веб-текстов из CommonCrawl для обучения LLM.
Что внутри
FineWeb — корпус английских веб-текстов из CommonCrawl объёмом более 18,5 трлн токенов (изначально 15 трлн). Данные очищены и дедуплицированы конвейером на библиотеке datatrove, оптимизированным под качество для LLM. В метаданных указаны модальности tabular и text, размер 10B–100B и язык en.
Что можно сделать
- Предобучение LLM
- Дообучение языковых моделей на веб-текстах
- Проверка пайплайнов очистки данных
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 356,7 тыс.
- Лайков
- 3,7 тыс.
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb")