К содержимому

Датасет · browndw

Параллельный корпус текстов людей и LLM на английском

browndw/human-ai-parallel-corpus

Набор парных продолжений английских текстов от людей и нейросетей для изучения стиля и обучения детекторов ИИ-генерации.

Что внутри

Датасет объёмом от 10 до 100 тысяч записей содержит английские тексты. Для его создания языковой модели давали около 500 слов оригинального текста и просили дописать ещё 500, чтобы сравнить результат с реальным авторским продолжением того же объёма.

Что можно сделать

  • Обучение классификаторов для распознавания сгенерированного нейросетями текста
  • Сравнительный лингвистический анализ стиля письма людей и LLM
Задачи
Классификация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
754
Лайков
7

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("browndw/human-ai-parallel-corpus")