Датасет · tencent
Бенчмарк для ИИ-ассистентов в групповых чатах
tencent/GroupAssistBench
Бенчмарк от Tencent и KCL для оценки работы ИИ-помощника с памятью в групповых диалогах.
Что внутри
Датасет содержит от 1 000 до 10 000 примеров на китайском и английском языках в текстовом и табличном форматах. Проект разработан совместно командами Tencent Yuanbao и KCL NLP Group для проверки способностей ассистента работать в групповом контексте с множеством воспоминаний, где простого извлечения фактов недостаточно. Предназначен для задач генерации текста и ответов на вопросы.
Что можно сделать
- Бенчмаркинг ИИ-ассистентов в сценариях многопользовательских чатов и длинной памяти
- Оценка систем RAG и механизмов управления памятью при работе с несколькими собеседниками
- Тестирование способности LLM отслеживать контекст и роли разных участников беседы
- Задачи
- Вопрос-ответ, Генерация текста
- Языки
- Китайский, Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 348
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("tencent/GroupAssistBench")