К содержимому

Датасет · Babelscape

Многоязычный корпус для распознавания именованных сущностей

Babelscape/wikineural

От 1 до 10 млн размеченных текстов на шести европейских языках для задачи NER, собранных с помощью BabelNet и BERT.

Что внутри

Крупный корпус объемом от 1 до 10 миллионов примеров для задачи token-classification (распознавание именованных сущностей, NER). Данные охватывают шесть языков: английский, немецкий, испанский, французский, итальянский и нидерландский. Разметка получена автоматически с опорой на многоязычную базу знаний BabelNet и трансформеры семейства BERT.

Что можно сделать

  • Обучение и дообучение мультиязычных моделей NER
  • Предобучение или оценка классификаторов токенов на европейских языках
Задачи
Разметка токенов
Языки
Немецкий, Английский, Испанский, Французский, Итальянский, Нидерландский, Польский, Португальский и ещё 1
Размер
1M–10M записей
Скачиваний за месяц
5,5 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Babelscape/wikineural")