К содержимому

Датасет · google

Архив комментариев с новостных сайтов для модерации

google/civil_comments

Миллионы англоязычных комментариев с 50 новостных сайтов для обучения систем классификации и модерации текста.

Что внутри

Датасет содержит от 1 до 10 миллионов публичных комментариев на английском языке в текстовом и табличном виде. Данные взяты из архива платформы Civil Comments и были оставлены пользователями на примерно 50 независимых новостных сайтах с 2015 по 2017 год.

Что можно сделать

  • Обучение классификаторов для автоматической модерации и фильтрации комментариев
  • Анализ тональности и пользовательских дискуссий в новостных медиа
  • Предобучение или дообучение текстовых моделей на разговорной лексике
Задачи
Классификация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
17,7 тыс.
Лайков
46

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/civil_comments")