К содержимому

Датасет · saghi776

Размеченный корпус текстов для детекции ИИ

saghi776/detectai-dataset

Полчаса-миллионный датасет текстов с авторазметкой для обучения классификаторов контента, сгенерированного нейросетью.

Что внутри

Внутри собрано 516 672 текстовых примера с разметкой для задачи обнаружения ИИ-генерации. Данные автоматически собраны из 60 различных источников через пайплайн на базе Cloudflare Workers. Язык и формат файлов в описании не уточняются.

Что можно сделать

  • Обучение бинарного классификатора для отличия текста нейросети от написанного человеком
  • Дообучение (fine-tuning) энкодеров вроде RoBERTa или DeBERTa под задачи антиплагиата и модерации
Задачи
Классификация текста
Скачиваний за месяц
20,3 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("saghi776/detectai-dataset")