Датасет · eriktks
Классический корпус NER CoNLL-2003
eriktks/conll2003
Английский датасет для распознавания именованных сущностей: люди, локации, организации и прочее.
Что внутри
Это данные shared task CoNLL-2003 по language-independent NER. В файлах четыре колонки через пробел: слово, POS-тег, синтаксический chunk-тег и NER-тег. Разметка NER использует IOB2 и четыре типа сущностей: persons, locations, organizations и miscellaneous. Язык — английский, размер — 10K<n<100K.
Что можно сделать
- Обучение модели token-classification для NER
- Проверка NER-пайплайна на классическом бенчмарке
- Сравнение схем IOB1 и IOB2
- Задачи
- Разметка токенов
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 45,9 тыс.
- Лайков
- 184
Модели, обученные на нём
- onnx-community/bert-small-pii-detection-ONNXРазметка токенов 2,8 тыс.
- sartajbhuvaji/bert-named-entity-recognitionРазметка токенов 92
- MrRobson9/gpt2-ner-conll2003-englishРазметка токенов 39
- stefan-it/neobert-ner-conll03 39
- MrRobson9/distilbert-base-cased-finetuned-conll2003-english-nerРазметка токенов 37
- ShkalikovOleh/mdeberta-v3-base-conll2003-enРазметка токенов 33
- RGarrido03/modernbert-conll2003-ner-baseРазметка токенов 32
- easwar03/legal-bert-base-NER 27
Как загрузить
from datasets import load_dataset
ds = load_dataset("eriktks/conll2003")