К содержимому

Датасет · epfml

Отборные тексты для претрейна на 100 языках

epfml/FineWeb2-HQ-Plus

Крупный корпус из лучших 10% документов FineWeb2 на 100 языках для качественного претрейна языковых моделей.

Что внутри

Это улучшенная версия FineWeb2-HQ, в которую вошли топ-10% самых качественных веб-документов из FineWeb2 (v2.1.1) на 100 языках (в метаданных отмечены немецкий, французский, польский, португальский, испанский и итальянский). Отбор проводился с помощью классификатора качества на базе эмбеддингов XLM-RoBERTa. Объём датасета составляет от 100 миллионов до 1 миллиарда записей.

Что можно сделать

  • Претрейн (pretraining) и продолжающееся предобучение мультиязычных LLM
  • Обучение собственных фильтров и классификаторов качества веб-текстов
  • Сравнение эффективности обучения моделей на очищенных и сырых корпусах
Задачи
Генерация текста
Языки
deu, fra, pol, por, spa, ita, cmn, nld и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
25,8 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("epfml/FineWeb2-HQ-Plus")