Датасет · HuggingFaceFW
Корпус из PDF на 3 трлн токенов
HuggingFaceFW/finepdfs
Крупнейший открытый корпус текстов из PDF: 3 трлн токенов, 475 млн документов и 1733 языка.
Что внутри
FinePDFs — публичный корпус, собранный исключительно из PDF-документов. В нём около 3 трлн токенов, 475 млн документов и тексты на 1733 языках; в метаданных также указаны поля tabular и text. Авторы описывают его как самый большой открытый корпус из PDF, созданный из-за сложности и дороговизны извлечения текста.
Что можно сделать
- Предобучение многоязычной LLM на документах
- Дообучение модели на PDF-текстах
- Проверка токенизатора на многоязычных документах
- Задачи
- Генерация текста
- Языки
- aai, aak, aau, aaz, aba, abi, abk, abn и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 81,8 тыс.
- Лайков
- 957
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/finepdfs")