К содержимому

Датасет · data-is-better-together

Мультиязычные тексты с разметкой образовательного контента

data-is-better-together/fineweb-c

Расширение датасета FineWeb2 с оценками качества образовательного контента от сообщества.

Что внутри

Это коллективный проект на базе корпуса FineWeb2, где участники размечали тексты на предмет их образовательной ценности. Датасет содержит от 100 тыс. до 1 млн текстовых и табличных записей на нескольких языках, включая латышский, корейский, руанда, итальянский, хинди и конкани. Активная работа над проектом прекращена, но выгрузки периодически обновляются.

Что можно сделать

  • Обучение классификаторов для фильтрации претрейн-корпусов по качеству текста
  • Отбор чистых образовательных данных для обучения мультиязычных LLM
Задачи
Классификация текста
Языки
lvs, kor, kin, ita, hin, gom, glg, fra и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
11,8 тыс.
Лайков
61

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("data-is-better-together/fineweb-c")