Датасет · amirveyseh
Корпус для поиска акронимов в научных текстах
amirveyseh/acronym_identification
Размеченные англоязычные предложения для обучения моделей находить акронимы в документах.
Что внутри
Датасет содержит размеченные токены в англоязычных предложениях, где указано, какие слова являются акронимами. Включает обучающую, валидационную и тестовую выборки (всего от 10 до 100 тысяч примеров). Данные подготовлены для соревнования Shared Task 1 на воркшопе AAAI-21 по анализу научных документов.
Что можно сделать
- Обучение NER-моделей (token-classification) для извлечения аббревиатур
- Предобработка и парсинг англоязычной научной литературы
- Задачи
- Разметка токенов
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 20,8 тыс.
- Лайков
- 27
Как загрузить
from datasets import load_dataset
ds = load_dataset("amirveyseh/acronym_identification")