К содержимому

Датасет · allenai

Бенчмарк сложнейших пользовательских запросов для LLM

allenai/WildBench

Подборка реальных сложных промптов на английском языке из WildChat для проверки больших языковых моделей.

Что внутри

Датасет представляет собой отобранное подмножество реальных диалогов пользователей из корпуса WildChat, оформленное в виде бенчмарка от Allen Institute for AI (AI2). Содержит от 1 до 10 тысяч примеров на английском языке в табличном и текстовом виде под лицензией CC BY.

Что можно сделать

  • Сравнение и оценка LLM на реальных, нешаблонных пользовательских задачах
  • Анализ слабых мест языковых моделей при работе со сложными инструкциями
Задачи
Генерация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
2,1 тыс.
Лайков
41

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/WildBench")