Датасет · open-index
Полный каталог книг Open Library в parquet
open-index/open-library
Более 150 миллионов библиографических записей проекта Open Library для задач NLP, поиска и извлечения данных.
Что внутри
Внутри лежит полный снимок базы данных Open Library от Internet Archive в формате parquet. Датасет содержит свыше 150 млн записей по 11 типам сущностей: от кодов ISBN и биографий авторов до читательских списков и ссылок на Wikidata. Данные собраны сообществом на английском и других языках.
Что можно сделать
- Обучение систем извлечения сущностей (NER) и классификации текстов по библиографическим данным
- Построение поисковых систем, рекомендательных сервисов и RAG-пайплайнов по книгам
- Связывание сущностей (Entity Linking) с использованием ссылок на Wikidata
- Задачи
- Генерация текста, Эмбеддинги, Классификация текста, Вопрос-ответ
- Языки
- Английский, mul
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 2,1 тыс.
- Лайков
- 11
Как загрузить
from datasets import load_dataset
ds = load_dataset("open-index/open-library")