Датасет · tonychenxyz
База логов и трейсов запусков Sweeperbench
tonychenxyz/sweeperbench-traces
Табличные и текстовые данные прогонов Sweeperbench с промптами, трейсами, вердиктами и метаданными в CSV и JSON.
Что внутри
Датасет представляет собой базу данных запусков бенчмарка Sweeperbench, организованную вокруг основной таблицы runs.csv, где каждая строка описывает предсказание или этап оценки. Отдельные директории по идентификатору запуска (UUID) содержат соответствующие файлы metadata.json, манифесты артефактов, промпты, трейсы выполнения, вердикты и собранные записи. Схема полей описана в schema.json.
Что можно сделать
- Отладка и анализ ошибок LLM-агентов на основе подробных логов и вердиктов оценки
- Отбор успешных траекторий выполнения (traces) для последующего SFT-дообучения моделей
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 20,4 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("tonychenxyz/sweeperbench-traces")