Датасет · google
Архив комментариев с новостных сайтов для модерации
google/civil_comments
Миллионы англоязычных комментариев с 50 новостных сайтов для обучения систем классификации и модерации текста.
Что внутри
Датасет содержит от 1 до 10 миллионов публичных комментариев на английском языке в текстовом и табличном виде. Данные взяты из архива платформы Civil Comments и были оставлены пользователями на примерно 50 независимых новостных сайтах с 2015 по 2017 год.
Что можно сделать
- Обучение классификаторов для автоматической модерации и фильтрации комментариев
- Анализ тональности и пользовательских дискуссий в новостных медиа
- Предобучение или дообучение текстовых моделей на разговорной лексике
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 17,7 тыс.
- Лайков
- 46
Модели, обученные на нём
- StrandsAgents/strands-decider-2B-qwen3.5-v1-2610Классификация текста 25 тыс.
- StrandsAgents/strands-decider-2B-hobson-v21Классификация текста 15,3 тыс.
- StrandsAgents/strands-decider-2B-hobson-v19Классификация текста 7 тыс.
- Horizon-Labs/multilingual-toxicity-baseКлассификация текста 1,6 тыс.
- StrandsAgents/strands-decider-E4B-gemma4-v1-2610Классификация текста 1,4 тыс.
- Horizon-Labs/multilingual-toxicity-smallКлассификация текста 1,3 тыс.
- Horizon-Labs/content-safety-guard-smallКлассификация текста 1,1 тыс.
- StrandsAgents/strands-decider-12B-gemma4-v1-2610Классификация текста 1,1 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/civil_comments")