Датасет · memorilla
Синтетический бенчмарк для проверки памяти и персонализации
memorilla/PersonalizationV4
Диалоги вымышленных персонажей с ИИ и вопросы на проверку скрытых предпочтений пользователя.
Что внутри
Синтетический англоязычный бенчмарк объёмом от 10 до 100 тысяч записей, созданный для оценки персонализации. В основе лежат детально прописанные вымышленные персонажи, каждый из которых провёл по 200 коротких диалогов с ИИ-ассистентом. Проверочные вопросы помещают пользователя в новую ситуацию и требуют объединить минимум два факта о нём, причём сама анкета персонажа модели не показывается — выводы нужно делать только из истории переписки.
Что можно сделать
- Оценка долговременной памяти и способности чат-ботов подстраиваться под пользователя
- Тестирование логического вывода и сопоставления разрозненных фактов из истории диалогов
- Бенчмаркинг моделей на задачах генерации персонализированных ответов
- Задачи
- Вопрос-ответ, Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 10 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("memorilla/PersonalizationV4")