К содержимому

Датасет · tencent

Бенчмарк для ИИ-ассистентов в групповых чатах

tencent/GroupAssistBench

Бенчмарк от Tencent и KCL для оценки работы ИИ-помощника с памятью в групповых диалогах.

Что внутри

Датасет содержит от 1 000 до 10 000 примеров на китайском и английском языках в текстовом и табличном форматах. Проект разработан совместно командами Tencent Yuanbao и KCL NLP Group для проверки способностей ассистента работать в групповом контексте с множеством воспоминаний, где простого извлечения фактов недостаточно. Предназначен для задач генерации текста и ответов на вопросы.

Что можно сделать

  • Бенчмаркинг ИИ-ассистентов в сценариях многопользовательских чатов и длинной памяти
  • Оценка систем RAG и механизмов управления памятью при работе с несколькими собеседниками
  • Тестирование способности LLM отслеживать контекст и роли разных участников беседы
Задачи
Вопрос-ответ, Генерация текста
Языки
Китайский, Английский
Размер
1K–10K записей
Скачиваний за месяц
348
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("tencent/GroupAssistBench")