Датасет · rmyeid
Многоязычный корпус для распознавания именованных сущностей
rmyeid/polyglot_ner
Автоматически размеченные тексты на 40 языках для обучения моделей поиску именованных сущностей (NER).
Что внутри
Внутри лежат обучающие тексты из Википедии с автоматической разметкой именованных сущностей и разрешением кореференции. Данные собраны на базе Википедии и Freebase для 40 языков (в метаданных отмечены арабский, болгарский, каталанский, чешский, датский и немецкий). Каждый язык вынесен в отдельный конфиг.
Что можно сделать
- Обучение мультиязычных моделей для задачи NER (token-classification)
- Дообучение моделей для извлечения сущностей на редких и европейских языках
- Задачи
- Разметка токенов
- Языки
- Арабский, bg, ca, cs, da, Немецкий, el, Английский и ещё 4
- Скачиваний за месяц
- 723
- Лайков
- 40
Как загрузить
from datasets import load_dataset
ds = load_dataset("rmyeid/polyglot_ner")