Датасет · HuggingFaceFW
Образовательные веб-тексты FineWeb-Edu
HuggingFaceFW/fineweb-edu
1,3 трлн токенов отфильтрованных образовательных веб-страниц на английском для обучения LLM.
Что внутри
Датасет содержит 1,3 трлн токенов образовательных веб-страниц, отфильтрованных из FineWeb. Для фильтрации использовали классификатор образовательного качества, обученный на аннотациях Llama3-70B-Instruct. Есть также версия FineWeb-Edu-score-2 на 5,4 трлн токенов; в карточке описан вариант на 1,3 трлн.
Что можно сделать
- предобучение базовых языковых моделей
- continued pretraining на учебных текстах
- проверка качества фильтрации образовательных данных
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 436,1 тыс.
- Лайков
- 1,4 тыс.
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb-edu")