Датасет · epfml
Отборные тексты для претрейна на 100 языках
epfml/FineWeb2-HQ-Plus
Крупный корпус из лучших 10% документов FineWeb2 на 100 языках для качественного претрейна языковых моделей.
Что внутри
Это улучшенная версия FineWeb2-HQ, в которую вошли топ-10% самых качественных веб-документов из FineWeb2 (v2.1.1) на 100 языках (в метаданных отмечены немецкий, французский, польский, португальский, испанский и итальянский). Отбор проводился с помощью классификатора качества на базе эмбеддингов XLM-RoBERTa. Объём датасета составляет от 100 миллионов до 1 миллиарда записей.
Что можно сделать
- Претрейн (pretraining) и продолжающееся предобучение мультиязычных LLM
- Обучение собственных фильтров и классификаторов качества веб-текстов
- Сравнение эффективности обучения моделей на очищенных и сырых корпусах
- Задачи
- Генерация текста
- Языки
- deu, fra, pol, por, spa, ita, cmn, nld и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 25,8 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("epfml/FineWeb2-HQ-Plus")