К содержимому

Датасет · Babelscape

Датасет для извлечения связей из текста REBEL

Babelscape/rebel-dataset

Большой англоязычный корпус для обучения моделей извлечению отношений между сущностями.

Что внутри

Текстовый датасет на английском языке, созданный для научной работы по сквозному извлечению связей (Relation Extraction). Объём составляет от 1 до 10 миллионов записей. Данные размечены автоматически (silver dataset).

Что можно сделать

  • Обучение моделей извлечению фактов и графов знаний из текста
  • Дообучение языковых моделей для задач информационного поиска (text-retrieval)
  • Построение систем автоматического структурирования неструктурированных документов
Задачи
Поиск по текстам, Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
528
Лайков
35

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Babelscape/rebel-dataset")