Датасет · replicaverse
Предикторы обработки предложений человеком
replicaverse/replica-predictors
Табличные и текстовые предикторы для моделей обработки человеческой речи и чтения.
Что внутри
Датасет содержит табличные данные и тексты размером от 100M до 1B. Внутри хранятся предикторы для вычислительных моделей обработки человеческой речи, такие как сюрпризал, энтропии и информационная ценность, оцененные языковыми моделями по корпусам чтения.
Что можно сделать
- Исследование моделей обработки человеческого языка
- Анализ метрик сюрпризала и энтропии текстов
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 31,2 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("replicaverse/replica-predictors")