Датасет · laion
Коллекция ссылок на научные учебники и статьи от LAION
laion/academic-textbook-links
Индекс прямых ссылок и библиографических метаданных на открытые научные PDF на английском и немецком.
Что внутри
Открытый пополняемый каталог от LAION объёмом от 1 до 10 тысяч записей на английском и немецком языках. Внутри лежат только библиографические метаданные и ссылки на полные научные учебники, монографии, диссертации, главы книг и обзорные статьи в открытом доступе. Самих PDF-файлов и извлечённых текстов в репозитории нет.
Что можно сделать
- Построение краулеров и агентов для сбора чистого научного корпуса
- Поиск открытых академических источников для RAG-систем
- Формирование библиографических баз данных по научным дисциплинам
- Языки
- Английский, Немецкий
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 25,8 тыс.
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("laion/academic-textbook-links")