Датасет · tsivakar
Примеры употребления многозначных английских слов
tsivakar/polysemous-words
Огромный корпус веб-текстов для снятия лексической неоднозначности (WSD) и проверки понимания контекста языковыми моделями.
Что внутри
Внутри собраны примеры использования 200 распространённых многозначных слов в естественных текстах из интернета. Объём датасета составляет от 100 миллионов до 1 миллиарда записей на английском языке. Каждое слово представлено в нескольких различных значениях и разнообразных контекстах.
Что можно сделать
- Обучение моделей для определения значения слова в контексте (WSD и WSI)
- Тестирование способности LLM различать смыслы омонимов и многозначных слов
- Дообучение энкодеров для улучшения качества семантических эмбеддингов
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 28,7 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("tsivakar/polysemous-words")