Датасет · nvidia
Бенчмарк пропускной способности LLM от NVIDIA
nvidia/SPEED-Bench
Набор длинных промптов (до 100K токенов) разной энтропии для замера скорости и качества инференса языковых моделей.
Что внутри
Репозиторий от NVIDIA содержит от 1 до 10 тысяч текстовых и документных примеров, обновленных до версии v1.1 в сентябре 2026 года. В состав входят сплиты для оценки пропускной способности на контекстах 16K, 32K и 100K токенов, разделённые по уровню энтропии (низкая, смешанная, высокая) и включающие задачи на отладку кода из InfiniteBench и RepoBench. Промпты структурированы так, что инструкция подаётся в самом начале перед длинным контекстом.
Что можно сделать
- Замер скорости генерации (throughput) и задержек LLM на длинном контексте
- Тестирование методов спекулятивного декодирования на задачах разной энтропии
- Сравнение движков инференса на контекстах до 100K токенов
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 27,3 тыс.
- Лайков
- 54
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/SPEED-Bench")