К содержимому

Датасет · ai-hyz

Бенчмарк для оценки памяти ИИ-агентов (MemoryAgentBench)

ai-hyz/MemoryAgentBench

Англоязычный набор (до 1K примеров) для проверки долгосрочной памяти агентов.

Что внутри

Компактный текстовый датасет на английском языке объёмом менее 1 000 примеров. Содержит пары вопрос-ответ (включая подвыборку из DetectiveQA и задачи из Longmemeval), а также ключевые точки для проверки удержания контекста. Набор регулярно обновляется авторами для устранения неэффективных сэмплов.

Что можно сделать

  • Оценка долгосрочной памяти и работы с длинным контекстом у ИИ-агентов
  • Тестирование моделей в задачах QA и классификации с опорой на историю
Задачи
Вопрос-ответ, Zero-shot классификация, Суммаризация, Классификация текста, Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
11,1 тыс.
Лайков
44

Как загрузить

from datasets import load_dataset

ds = load_dataset("ai-hyz/MemoryAgentBench")