Датасет · HuggingFaceFW
Образовательные токены из PDF на 69 языках
HuggingFaceFW/finepdfs-edu
350B+ токенов учебных PDF, отфильтрованных из FinePDFs классификатором образовательного качества.
Что внутри
Корпус содержит более 350 млрд токенов из PDF-документов, отобранных по образовательному качеству. Фильтрация сделана классификатором, обученным на аннотациях Qwen3-235B-A22B-Instruct-2507 для 69 языков; исходный набор — FinePDFs. Данные в табличном и текстовом формате.
Что можно сделать
- Предобучение LLM на образовательных текстах
- Дообучение моделей для STEM и академических задач
- Оценка качества образовательных корпусов и фильтров
- Задачи
- Генерация текста
- Языки
- Английский, Немецкий, Японский, Французский, Испанский, Итальянский, Русский, Португальский и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 14,7 тыс.
- Лайков
- 105
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/finepdfs-edu")