К содержимому

Датасет · memorilla

Синтетический бенчмарк для проверки памяти и персонализации

memorilla/PersonalizationV4

Диалоги вымышленных персонажей с ИИ и вопросы на проверку скрытых предпочтений пользователя.

Что внутри

Синтетический англоязычный бенчмарк объёмом от 10 до 100 тысяч записей, созданный для оценки персонализации. В основе лежат детально прописанные вымышленные персонажи, каждый из которых провёл по 200 коротких диалогов с ИИ-ассистентом. Проверочные вопросы помещают пользователя в новую ситуацию и требуют объединить минимум два факта о нём, причём сама анкета персонажа модели не показывается — выводы нужно делать только из истории переписки.

Что можно сделать

  • Оценка долговременной памяти и способности чат-ботов подстраиваться под пользователя
  • Тестирование логического вывода и сопоставления разрозненных фактов из истории диалогов
  • Бенчмаркинг моделей на задачах генерации персонализированных ответов
Задачи
Вопрос-ответ, Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
10 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("memorilla/PersonalizationV4")