К содержимому

Датасет · bench-llm

Бенчмарк избыточных отказов языковых моделей OR-Bench

bench-llm/or-bench

Набор запросов для проверки баланса между безопасностью LLM и их склонностью отказывать на безобидные промпты.

Что внутри

Датасет на английском языке объёмом от 10 до 100 тысяч примеров, включающий текстовые и визуальные данные (в том числе поднаборы OR-Bench-Hard-1K и OR-Bench-Toxic). Он измеряет долю отказов модели как на реально токсичных запросах, так и на сложных, но безопасных промптах.

Что можно сделать

  • Тестирование LLM на проблему излишней цензуры и ложных отказов (over-refusal)
  • Калибровка alignment-настроек и фильтров безопасности перед выпуском модели
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
22,6 тыс.
Лайков
26

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("bench-llm/or-bench")