К содержимому

Датасет · amirveyseh

Корпус для поиска акронимов в научных текстах

amirveyseh/acronym_identification

Размеченные англоязычные предложения для обучения моделей находить акронимы в документах.

Что внутри

Датасет содержит размеченные токены в англоязычных предложениях, где указано, какие слова являются акронимами. Включает обучающую, валидационную и тестовую выборки (всего от 10 до 100 тысяч примеров). Данные подготовлены для соревнования Shared Task 1 на воркшопе AAAI-21 по анализу научных документов.

Что можно сделать

  • Обучение NER-моделей (token-classification) для извлечения аббревиатур
  • Предобработка и парсинг англоязычной научной литературы
Задачи
Разметка токенов
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
20,8 тыс.
Лайков
27

Как загрузить

from datasets import load_dataset

ds = load_dataset("amirveyseh/acronym_identification")