Датасет · data-is-better-together
Мультиязычные тексты с разметкой образовательного контента
data-is-better-together/fineweb-c
Расширение датасета FineWeb2 с оценками качества образовательного контента от сообщества.
Что внутри
Это коллективный проект на базе корпуса FineWeb2, где участники размечали тексты на предмет их образовательной ценности. Датасет содержит от 100 тыс. до 1 млн текстовых и табличных записей на нескольких языках, включая латышский, корейский, руанда, итальянский, хинди и конкани. Активная работа над проектом прекращена, но выгрузки периодически обновляются.
Что можно сделать
- Обучение классификаторов для фильтрации претрейн-корпусов по качеству текста
- Отбор чистых образовательных данных для обучения мультиязычных LLM
- Задачи
- Классификация текста
- Языки
- lvs, kor, kin, ita, hin, gom, glg, fra и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 11,8 тыс.
- Лайков
- 61
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("data-is-better-together/fineweb-c")