Датасет · froggeric
Бенчмарк креативного письма LLM
froggeric/creativity
24 вопроса для оценки LLM как ассистента в нецензурированном креативном письме, с ручной проверкой.
Что внутри
Англоязычный бенчмарк creativity на 24 вопроса; часть из них самостоятельные, часть — продолжения в многоходовом диалоге. Модальности tabular и text, размер меньше 1 тыс. примеров. Качество письма автор оценивает вручную; последнее обновление — 28 мая 2024 года.
Что можно сделать
- Оценка креативных писательских LLM
- Сравнение моделей в multi-turn диалоге
- Тест на нецензурированное письмо
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 182
- Лайков
- 88
Как загрузить
from datasets import load_dataset
ds = load_dataset("froggeric/creativity")