К содержимому

Датасет · laion

Коллекция ссылок на научные учебники и статьи от LAION

laion/academic-textbook-links

Индекс прямых ссылок и библиографических метаданных на открытые научные PDF на английском и немецком.

Что внутри

Открытый пополняемый каталог от LAION объёмом от 1 до 10 тысяч записей на английском и немецком языках. Внутри лежат только библиографические метаданные и ссылки на полные научные учебники, монографии, диссертации, главы книг и обзорные статьи в открытом доступе. Самих PDF-файлов и извлечённых текстов в репозитории нет.

Что можно сделать

  • Построение краулеров и агентов для сбора чистого научного корпуса
  • Поиск открытых академических источников для RAG-систем
  • Формирование библиографических баз данных по научным дисциплинам
Языки
Английский, Немецкий
Размер
100K–1M записей
Скачиваний за месяц
25,8 тыс.
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("laion/academic-textbook-links")