К содержимому

Датасет · nvidia

Бенчмарк пропускной способности LLM от NVIDIA

nvidia/SPEED-Bench

Набор длинных промптов (до 100K токенов) разной энтропии для замера скорости и качества инференса языковых моделей.

Что внутри

Репозиторий от NVIDIA содержит от 1 до 10 тысяч текстовых и документных примеров, обновленных до версии v1.1 в сентябре 2026 года. В состав входят сплиты для оценки пропускной способности на контекстах 16K, 32K и 100K токенов, разделённые по уровню энтропии (низкая, смешанная, высокая) и включающие задачи на отладку кода из InfiniteBench и RepoBench. Промпты структурированы так, что инструкция подаётся в самом начале перед длинным контекстом.

Что можно сделать

  • Замер скорости генерации (throughput) и задержек LLM на длинном контексте
  • Тестирование методов спекулятивного декодирования на задачах разной энтропии
  • Сравнение движков инференса на контекстах до 100K токенов
Размер
1K–10K записей
Скачиваний за месяц
27,3 тыс.
Лайков
54

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/SPEED-Bench")