Датасет · airtrain-ai
Очищенный FineWeb-Edu с эмбеддингами
airtrain-ai/fineweb-edu-fortified
Крупный англоязычный корпус FineWeb-Edu после точной дедупликации, с эмбеддингами и счётчиком повторов строк.
Что внутри
Это производный датасет от FineWeb-Edu: по всему корпусу применена точная дедупликация, а для каждой строки посчитано число вхождений. Эмбеддинги получены моделью TaylorAI/bge-micro. В данных есть текстовые строки, табличные признаки и колонка count; объём — от 100 млн до 1 млрд примеров.
Что можно сделать
- Дообучать или предобучать англоязычные LLM на очищенном корпусе
- Обучать классификаторы качества текста на эмбеддингах
- Исследовать дедупликацию и повторы в веб-корпусах
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 9,4 тыс.
- Лайков
- 71
Модели, обученные на нём
- TurkuNLP/finnish-modernbert-baseЗаполнение пропусков 821
- TurkuNLP/finnish-modernbert-tinyЗаполнение пропусков 394
- TurkuNLP/finnish-modernbert-large-shortЗаполнение пропусков 226
- TurkuNLP/finnish-modernbert-largeЗаполнение пропусков 162
- TurkuNLP/finnish-modernbert-tiny-eduЗаполнение пропусков 146
- TurkuNLP/finnish-modernbert-base-shortЗаполнение пропусков 144
- TurkuNLP/finnish-modernbert-tiny-short-eduЗаполнение пропусков 143
- TurkuNLP/finnish-modernbert-tiny-shortЗаполнение пропусков 130
Как загрузить
from datasets import load_dataset
ds = load_dataset("airtrain-ai/fineweb-edu-fortified")