К содержимому

Датасет · airtrain-ai

Очищенный FineWeb-Edu с эмбеддингами

airtrain-ai/fineweb-edu-fortified

Крупный англоязычный корпус FineWeb-Edu после точной дедупликации, с эмбеддингами и счётчиком повторов строк.

Что внутри

Это производный датасет от FineWeb-Edu: по всему корпусу применена точная дедупликация, а для каждой строки посчитано число вхождений. Эмбеддинги получены моделью TaylorAI/bge-micro. В данных есть текстовые строки, табличные признаки и колонка count; объём — от 100 млн до 1 млрд примеров.

Что можно сделать

  • Дообучать или предобучать англоязычные LLM на очищенном корпусе
  • Обучать классификаторы качества текста на эмбеддингах
  • Исследовать дедупликацию и повторы в веб-корпусах
Задачи
Генерация текста
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
9,4 тыс.
Лайков
71

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("airtrain-ai/fineweb-edu-fortified")