Датасет · m-a-p
FineFineWeb: веб-корпус по доменам
m-a-p/FineFineWeb
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
Что внутри
Датасет содержит англоязычные веб-тексты и табличные метаданные, разбитые по доменам — от аэрокосмической отрасли до агрономии. В карточке приведены объёмы токенов и примеров по трём итерациям сбора и итоговые значения. По метаданным, размер — от 1 до 10 млрд; задачи включают text-classification и text-generation.
Что можно сделать
- Обучить доменную классификацию текстов
- Дообучить LLM на доменном веб-корпусе
- Собрать доменный датасет для генерации
- Задачи
- Классификация текста, Генерация текста
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 1,8 млн
- Лайков
- 242
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/FineFineWeb")