К содержимому

Датасет · replicaverse

Предикторы обработки предложений человеком

replicaverse/replica-predictors

Табличные и текстовые предикторы для моделей обработки человеческой речи и чтения.

Что внутри

Датасет содержит табличные данные и тексты размером от 100M до 1B. Внутри хранятся предикторы для вычислительных моделей обработки человеческой речи, такие как сюрпризал, энтропии и информационная ценность, оцененные языковыми моделями по корпусам чтения.

Что можно сделать

  • Исследование моделей обработки человеческого языка
  • Анализ метрик сюрпризала и энтропии текстов
Размер
100M–1B записей
Скачиваний за месяц
31,2 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("replicaverse/replica-predictors")