Датасет · MiniMaxAI
Role-play Benchmark для агентов
MiniMaxAI/role-play-bench
Бенчмарк для оценки ролевых агентов в китайских и английских сценариях.
Что внутри
Role-play Benchmark проверяет, насколько убедительно агент ведёт ролевое взаимодействие через Situated Reenactment. Сценарии представлены на китайском и английском; данные — текстовые и табличные, размер — от 1 до 10 тыс. примеров. В отличие от бенчмарков с проверяемым ответом, здесь нет единственно правильной реплики: например, на вопрос цундэрэ «Ты меня любишь?» нельзя сверить ответ по ключу.
Что можно сделать
- Оценить role-play агента или чат-модель в ZH/EN сценариях.
- Сравнить стратегии промптинга для ролевых персонажей.
- Проверить качество immersive role-play перед релизом.
- Задачи
- Генерация текста
- Языки
- Китайский, Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 562
- Лайков
- 159
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MiniMaxAI/role-play-bench")