Датасет · HuggingFaceFW
Образовательные веб-тексты FineWeb-Edu (порог 2)
HuggingFaceFW/fineweb-edu-score-2
Огромный англоязычный корпус веб-страниц с образовательным фильтром для предобуче��ия языковых моделей.
Что внутри
В карточке указано 5,4 трлн токенов образовательных веб-страниц, отфильтрованных из FineWeb. Это версия с пониженным образовательным порогом 2: документов больше, но качество ниже, чем у версии на 1,3 трлн токенов. Данные на английском языке; метаданные относят их к text-generation.
Что можно сделать
- Предобучение базовой языковой модели
- Продолжение предобучения на образовательных текстах
- Эксперименты с фильтрацией и смешиванием веб-данных
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 25 тыс.
- Лайков
- 90
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb-edu-score-2")