Датасет · epfml
Отборные тексты из FineWeb для предобучения LLM
epfml/FineWeb-HQ
Топ-10% самых качественных и структурированных веб-текстов из корпуса FineWeb для обучения языковых моделей.
Что внутри
Внутри находятся отобранные англоязычные веб-документы, объём которых составляет от 1 до 10 миллиардов записей. Данные представляют собой лучшие 10% корпуса FineWeb, отфильтрованные нейросетевым классификатором на базе эмбеддингов XLM-RoBERTa для поиска структурированных и насыщенных знаниями текстов. Датасет представлен в табличном и текстовом виде.
Что можно сделать
- Предобучение (pretraining) больших языковых моделей с нуля
- Дообучение (continual pretraining) LLM для повышения качества знаний
- Исследование методов фильтрации данных для обучения моделей
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 419,2 тыс.
- Лайков
- 36
Модели, обученные на нём
- fromziro/ZeroS-Qana-5MГенерация текста 1,1 тыс.
- CodeSoft/sorbet-v2-25mГенерация текста 849
- mainlp/copy-first-translate-laterГенерация текста 807
- AxiomicLabs/GPT-S-5MГенерация текста 716
- StentorLabs/Portimbria-150MГенерация текста 560
- AxiomicLabs/GPT-S-1.4MГенерация текста 317
- sz14/cRia-LM-75MГенерация текста 193
- Flexan/StentorLabs-Portimbria-150M-GGUFГенерация текста 173
Как загрузить
from datasets import load_dataset
ds = load_dataset("epfml/FineWeb-HQ")