Датасет · saghi776
Размеченный корпус текстов для детекции ИИ
saghi776/detectai-dataset
Полчаса-миллионный датасет текстов с авторазметкой для обучения классификаторов контента, сгенерированного нейросетью.
Что внутри
Внутри собрано 516 672 текстовых примера с разметкой для задачи обнаружения ИИ-генерации. Данные автоматически собраны из 60 различных источников через пайплайн на базе Cloudflare Workers. Язык и формат файлов в описании не уточняются.
Что можно сделать
- Обучение бинарного классификатора для отличия текста нейросети от написанного человеком
- Дообучение (fine-tuning) энкодеров вроде RoBERTa или DeBERTa под задачи антиплагиата и модерации
- Задачи
- Классификация текста
- Скачиваний за месяц
- 20,3 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("saghi776/detectai-dataset")