Датасет · unimelb-nlp
Мультиязычный NER по статьям Википедии
unimelb-nlp/wikiann
176 языков, разметка LOC/PER/ORG в IOB2 на основе статей Википедии.
Что внутри
WikiANN (PAN-X) — мультиязычный датасет для NER. Статьи Википедии размечены тегами LOC, PER и ORG в формате IOB2. Версия соответствует сбалансированным train/dev/test сплитам Rahimi et al. (2019) и покрывает 176 из 282 языков оригинального корпуса. Размер — от 1M до 10M примеров.
Что можно сделать
- Обучение мультиязычной NER-модели
- Проверка token-classification на редких языках
- Fine-tune XLM-R или mBERT для извлечения сущностей
- Задачи
- Разметка токенов
- Языки
- ace, af, als, am, an, ang, Арабский, arc и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 21,5 тыс.
- Лайков
- 127
Модели, обученные на нём
- emi08/maske-berturk-baselineРазметка токенов 120
- emi08/maske-modernbert-tr-bakeoffРазметка токенов 56
- isakulaksiz/turkish-pii-detectionРазметка токенов 52
- temsa/OpenMed-PPSN-v5_1Разметка токенов 49
- temsa/OpenMed-mLiteClinical-IrishPPSN-135M-v1Разметка токенов 48
- Tevfik-istanbullu/camelbert-ner-arabicРазметка токенов 44
- Elafnawaf/gliner2-arabic-saudiРазметка токенов 40
- Elafnawaf/gliner2-arabic-saudi-r4-l-contk-s42Разметка токенов 27
Как загрузить
from datasets import load_dataset
ds = load_dataset("unimelb-nlp/wikiann")