К содержимому

Датасет · open-index

Полный каталог книг Open Library в parquet

open-index/open-library

Более 150 миллионов библиографических записей проекта Open Library для задач NLP, поиска и извлечения данных.

Что внутри

Внутри лежит полный снимок базы данных Open Library от Internet Archive в формате parquet. Датасет содержит свыше 150 млн записей по 11 типам сущностей: от кодов ISBN и биографий авторов до читательских списков и ссылок на Wikidata. Данные собраны сообществом на английском и других языках.

Что можно сделать

  • Обучение систем извлечения сущностей (NER) и классификации текстов по библиографическим данным
  • Построение поисковых систем, рекомендательных сервисов и RAG-пайплайнов по книгам
  • Связывание сущностей (Entity Linking) с использованием ссылок на Wikidata
Задачи
Генерация текста, Эмбеддинги, Классификация текста, Вопрос-ответ
Языки
Английский, mul
Размер
100M–1B записей
Скачиваний за месяц
2,1 тыс.
Лайков
11

Как загрузить

from datasets import load_dataset

ds = load_dataset("open-index/open-library")