Датасет · Babelscape
Многоязычный корпус для распознавания именованных сущностей
Babelscape/wikineural
От 1 до 10 млн размеченных текстов на шести европейских языках для задачи NER, собранных с помощью BabelNet и BERT.
Что внутри
Крупный корпус объемом от 1 до 10 миллионов примеров для задачи token-classification (распознавание именованных сущностей, NER). Данные охватывают шесть языков: английский, немецкий, испанский, французский, итальянский и нидерландский. Разметка получена автоматически с опорой на многоязычную базу знаний BabelNet и трансформеры семейства BERT.
Что можно сделать
- Обучение и дообучение мультиязычных моделей NER
- Предобучение или оценка классификаторов токенов на европейских языках
- Задачи
- Разметка токенов
- Языки
- Немецкий, Английский, Испанский, Французский, Итальянский, Нидерландский, Польский, Португальский и ещё 1
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 5,5 тыс.
- Лайков
- 38
Модели, обученные на нём
- Babelscape/wikineural-multilingual-nerРазметка токенов 665,4 тыс.
- rhnfzl/wikineural-multilingual-ner-onnxРазметка токенов 217
- ZurichNLP/swissbert-nerРазметка токенов 117
- cognica/Cognica-PoE-v1.0-1.3B-stage-nerРазметка токенов 20
- arubenruben/NER-PT-BERT-CRF-Conll2003Разметка токенов 14
- joelbarmettler/gheim-ch-560m-researchРазметка токенов 13
- daeunj/828AРазметка токенов 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("Babelscape/wikineural")