К содержимому

Датасет · ontonotes

Многоязычный корпус OntoNotes 5.0 для CoNLL-2012

ontonotes/conll2012_ontonotesv5

Крупный корпус на английском, китайском и арабском с ручной синтаксической и семантической разметкой.

Что внутри

Финальная версия корпуса OntoNotes v5.0, расширенная для соревнования CoNLL-2012 и взятая из репозитория Mendeley Data. Содержит тексты разных жанров на английском, китайском и арабском языках, вручную размеченные синтаксической, семантической и дискурсивной информацией (от 10 до 100 тысяч примеров). Включает обучающие, валидационные и тестовые выборки версий v4, v9, а также исправленную версию v12 только для английского языка.

Что можно сделать

  • Обучить модели разметки токенов (NER, части речи, синтаксический разбор)
  • Проверить качество NLP-моделей на стандартном бенчмарке CoNLL-2012
  • Натренировать многоязычные системы анализа текста для английского, китайского и арабского
Задачи
Разметка токенов
Языки
Арабский, Английский, Китайский
Размер
10K–100K записей
Скачиваний за месяц
2 тыс.
Лайков
47

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ontonotes/conll2012_ontonotesv5")