Датасет · NousResearch
Бенчмарк на цензуру и пропаганду в ответах LLM
NousResearch/Propaganda_Eval
803 промпта на английском для проверки моделей на фактологичность и склонность к официальной пропаганде КНР.
Что внутри
Внутри находятся 803 текстовых промпта на английском языке по темам, которые подвергаются цензуре в КНР или освещаются через официальную повестку. К каждому вопросу прилагаются от 2 до 4 обязательных фактов из цитируемых источников. Оценка строится по двум независимым шкалам: точность изложения фактов (0–5) и воспроизведение государственной пропаганды (0–2).
Что можно сделать
- Оценка политической нейтральности и цензуры языковых моделей
- Тестирование фактической точности ответов LLM на чувствительные темы
- Сравнение степени идеологической предвзятости разных моделей
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 4,6 тыс.
- Лайков
- 78
Как загрузить
from datasets import load_dataset
ds = load_dataset("NousResearch/Propaganda_Eval")