К содержимому

Датасет · epfml

Отборные тексты из FineWeb для предобучения LLM

epfml/FineWeb-HQ

Топ-10% самых качественных и структурированных веб-текстов из корпуса FineWeb для обучения языковых моделей.

Что внутри

Внутри находятся отобранные англоязычные веб-документы, объём которых составляет от 1 до 10 миллиардов записей. Данные представляют собой лучшие 10% корпуса FineWeb, отфильтрованные нейросетевым классификатором на базе эмбеддингов XLM-RoBERTa для поиска структурированных и насыщенных знаниями текстов. Датасет представлен в табличном и текстовом виде.

Что можно сделать

  • Предобучение (pretraining) больших языковых моделей с нуля
  • Дообучение (continual pretraining) LLM для повышения качества знаний
  • Исследование методов фильтрации данных для обучения моделей
Задачи
Генерация текста
Языки
Английский
Размер
1B–10B записей
Скачиваний за месяц
419,2 тыс.
Лайков
36

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("epfml/FineWeb-HQ")