Датасет · browndw
Параллельный корпус текстов людей и LLM на английском
browndw/human-ai-parallel-corpus
Набор парных продолжений английских текстов от людей и нейросетей для изучения стиля и обучения детекторов ИИ-генерации.
Что внутри
Датасет объёмом от 10 до 100 тысяч записей содержит английские тексты. Для его создания языковой модели давали около 500 слов оригинального текста и просили дописать ещё 500, чтобы сравнить результат с реальным авторским продолжением того же объёма.
Что можно сделать
- Обучение классификаторов для распознавания сгенерированного нейросетями текста
- Сравнительный лингвистический анализ стиля письма людей и LLM
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 754
- Лайков
- 7
Модели, обученные на нём
- usrnotfound101/anlp-a2-opt-adamw 42
- usrnotfound101/anlp-a2-opt-lion 38
- winterdewdev/anlp-a2-optimizers-marsГенерация текста 34
- winterdewdev/anlp-a2-optimizers-adamwГенерация текста 29
- winterdewdev/anlp-a2-optimizers-muonГенерация текста 29
- winterdewdev/anlp-a2-optimizers-lionГенерация текста 28
- abhirajratna/anlp-a2-optim-adamw 13
- abhirajratna/anlp-a2-optim-sophia 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("browndw/human-ai-parallel-corpus")