К содержимому

Датасет · rmyeid

Многоязычный корпус для распознавания именованных сущностей

rmyeid/polyglot_ner

Автоматически размеченные тексты на 40 языках для обучения моделей поиску именованных сущностей (NER).

Что внутри

Внутри лежат обучающие тексты из Википедии с автоматической разметкой именованных сущностей и разрешением кореференции. Данные собраны на базе Википедии и Freebase для 40 языков (в метаданных отмечены арабский, болгарский, каталанский, чешский, датский и немецкий). Каждый язык вынесен в отдельный конфиг.

Что можно сделать

  • Обучение мультиязычных моделей для задачи NER (token-classification)
  • Дообучение моделей для извлечения сущностей на редких и европейских языках
Задачи
Разметка токенов
Языки
Арабский, bg, ca, cs, da, Немецкий, el, Английский и ещё 4
Скачиваний за месяц
723
Лайков
40

Как загрузить

from datasets import load_dataset

ds = load_dataset("rmyeid/polyglot_ner")