Датасет · bench-llm
Бенчмарк избыточных отказов языковых моделей OR-Bench
bench-llm/or-bench
Набор запросов для проверки баланса между безопасностью LLM и их склонностью отказывать на безобидные промпты.
Что внутри
Датасет на английском языке объёмом от 10 до 100 тысяч примеров, включающий текстовые и визуальные данные (в том числе поднаборы OR-Bench-Hard-1K и OR-Bench-Toxic). Он измеряет долю отказов модели как на реально токсичных запросах, так и на сложных, но безопасных промптах.
Что можно сделать
- Тестирование LLM на проблему излишней цензуры и ложных отказов (over-refusal)
- Калибровка alignment-настроек и фильтров безопасности перед выпуском модели
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 22,6 тыс.
- Лайков
- 26
Модели, обученные на нём
- mradermacher/Spellguard-1.0-8B-GGUF 754
- mradermacher/GPT-Distill-Qwen3-8B-Spellguard-SLERP-GGUF 337
- AxiomicLabs/X3Guard-150MКлассификация текста 294
- shesettipavankumarswamy/ahd-jailbreak-v1Классификация текста 129
- UnderTides/DeepSeek-V4.1-Flash-1017-heretic-lora-devКартинка + текст 102
- vllm-sr/Decision-1.0-Route-0.6BZero-shot классификация 101
- Spellguard/Spellguard-1.0-8BГенерация текста 81
- birgermoell/oellm-9b-256k-stage5-e8-search-rl-step160Генерация текста 51
Как загрузить
from datasets import load_dataset
ds = load_dataset("bench-llm/or-bench")