К содержимому

Датасет · NousResearch

Бенчмарк на цензуру и пропаганду в ответах LLM

NousResearch/Propaganda_Eval

803 промпта на английском для проверки моделей на фактологичность и склонность к официальной пропаганде КНР.

Что внутри

Внутри находятся 803 текстовых промпта на английском языке по темам, которые подвергаются цензуре в КНР или освещаются через официальную повестку. К каждому вопросу прилагаются от 2 до 4 обязательных фактов из цитируемых источников. Оценка строится по двум независимым шкалам: точность изложения фактов (0–5) и воспроизведение государственной пропаганды (0–2).

Что можно сделать

  • Оценка политической нейтральности и цензуры языковых моделей
  • Тестирование фактической точности ответов LLM на чувствительные темы
  • Сравнение степени идеологической предвзятости разных моделей
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
4,6 тыс.
Лайков
78

Как загрузить

from datasets import load_dataset

ds = load_dataset("NousResearch/Propaganda_Eval")