Датасет · ontonotes
Многоязычный корпус OntoNotes 5.0 для CoNLL-2012
ontonotes/conll2012_ontonotesv5
Крупный корпус на английском, китайском и арабском с ручной синтаксической и семантической разметкой.
Что внутри
Финальная версия корпуса OntoNotes v5.0, расширенная для соревнования CoNLL-2012 и взятая из репозитория Mendeley Data. Содержит тексты разных жанров на английском, китайском и арабском языках, вручную размеченные синтаксической, семантической и дискурсивной информацией (от 10 до 100 тысяч примеров). Включает обучающие, валидационные и тестовые выборки версий v4, v9, а также исправленную версию v12 только для английского языка.
Что можно сделать
- Обучить модели разметки токенов (NER, части речи, синтаксический разбор)
- Проверить качество NLP-моделей на стандартном бенчмарке CoNLL-2012
- Натренировать многоязычные системы анализа текста для английского, китайского и арабского
- Задачи
- Разметка токенов
- Языки
- Арабский, Английский, Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 2 тыс.
- Лайков
- 47
Модели, обученные на нём
- Seemant/bert-base-ontonotes5-ner-ONNXРазметка токенов 816
- learnrr/bert-base-ontonotes5-nerРазметка токенов 117
- learnrr/roberta-large-ontonotes5-nerРазметка токенов 28
- learnrr/bert-large-ontonotes5-nerРазметка токенов 10
- learnrr/roberta-base-ontonotes5-nerРазметка токенов 10
- mlame/modernBERT-base-ontoNotes-NERРазметка токенов 5
- learnrr/bilstm-crf-ontonotes5-nerРазметка токенов 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("ontonotes/conll2012_ontonotesv5")