К содержимому

Датасет · tsivakar

Примеры употребления многозначных английских слов

tsivakar/polysemous-words

Огромный корпус веб-текстов для снятия лексической неоднозначности (WSD) и проверки понимания контекста языковыми моделями.

Что внутри

Внутри собраны примеры использования 200 распространённых многозначных слов в естественных текстах из интернета. Объём датасета составляет от 100 миллионов до 1 миллиарда записей на английском языке. Каждое слово представлено в нескольких различных значениях и разнообразных контекстах.

Что можно сделать

  • Обучение моделей для определения значения слова в контексте (WSD и WSI)
  • Тестирование способности LLM различать смыслы омонимов и многозначных слов
  • Дообучение энкодеров для улучшения качества семантических эмбеддингов
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
28,7 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("tsivakar/polysemous-words")