Датасет · ai-hyz
Бенчмарк для оценки памяти ИИ-агентов (MemoryAgentBench)
ai-hyz/MemoryAgentBench
Англоязычный набор (до 1K примеров) для проверки долгосрочной памяти агентов.
Что внутри
Компактный текстовый датасет на английском языке объёмом менее 1 000 примеров. Содержит пары вопрос-ответ (включая подвыборку из DetectiveQA и задачи из Longmemeval), а также ключевые точки для проверки удержания контекста. Набор регулярно обновляется авторами для устранения неэффективных сэмплов.
Что можно сделать
- Оценка долгосрочной памяти и работы с длинным контекстом у ИИ-агентов
- Тестирование моделей в задачах QA и классификации с опорой на историю
- Задачи
- Вопрос-ответ, Zero-shot классификация, Суммаризация, Классификация текста, Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 11,1 тыс.
- Лайков
- 44
Как загрузить
from datasets import load_dataset
ds = load_dataset("ai-hyz/MemoryAgentBench")