К содержимому

Датасет · tonychenxyz

База логов и трейсов запусков Sweeperbench

tonychenxyz/sweeperbench-traces

Табличные и текстовые данные прогонов Sweeperbench с промптами, трейсами, вердиктами и метаданными в CSV и JSON.

Что внутри

Датасет представляет собой базу данных запусков бенчмарка Sweeperbench, организованную вокруг основной таблицы runs.csv, где каждая строка описывает предсказание или этап оценки. Отдельные директории по идентификатору запуска (UUID) содержат соответствующие файлы metadata.json, манифесты артефактов, промпты, трейсы выполнения, вердикты и собранные записи. Схема полей описана в schema.json.

Что можно сделать

  • Отладка и анализ ошибок LLM-агентов на основе подробных логов и вердиктов оценки
  • Отбор успешных траекторий выполнения (traces) для последующего SFT-дообучения моделей
Размер
10K–100K записей
Скачиваний за месяц
20,4 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("tonychenxyz/sweeperbench-traces")