К содержимому

Датасет · uitnlp

Размеченные комментарии на вьетнамском для поиска хейта

uitnlp/vihsd

Корпус из 33 тысяч комментариев из соцсетей на вьетнамском языке для обучения модерации контента.

Что внутри

Датасет включает около 33 тысяч текстовых комментариев из социальных сетей на вьетнамском языке. Каждый комментарий вручную отнесён к одному из трёх классов: враждебные высказывания (HATE), оскорбительный контент (OFFENSIVE) или нейтральный текст (CLEAN). Набор совместим со стандартным загрузчиком библиотеки datasets.

Что можно сделать

  • Обучение классификаторов для автоматической модерации токсичного контента на вьетнамском языке
  • Бенчмаркинг мультиязычных моделей в задачах определения языка вражды
  • Файнтюнинг фильтров безопасности для чат-ботов, работающих с вьетнамской аудиторией
Задачи
Классификация текста
Языки
Вьетнамский
Размер
10K–100K записей
Скачиваний за месяц
338
Лайков
12
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("uitnlp/vihsd")