Датасет · uitnlp
Размеченные комментарии на вьетнамском для поиска хейта
uitnlp/vihsd
Корпус из 33 тысяч комментариев из соцсетей на вьетнамском языке для обучения модерации контента.
Что внутри
Датасет включает около 33 тысяч текстовых комментариев из социальных сетей на вьетнамском языке. Каждый комментарий вручную отнесён к одному из трёх классов: враждебные высказывания (HATE), оскорбительный контент (OFFENSIVE) или нейтральный текст (CLEAN). Набор совместим со стандартным загрузчиком библиотеки datasets.
Что можно сделать
- Обучение классификаторов для автоматической модерации токсичного контента на вьетнамском языке
- Бенчмаркинг мультиязычных моделей в задачах определения языка вражды
- Файнтюнинг фильтров безопасности для чат-ботов, работающих с вьетнамской аудиторией
- Задачи
- Классификация текста
- Языки
- Вьетнамский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 338
- Лайков
- 12
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("uitnlp/vihsd")