К содержимому

Датасет · ArtificialAnalysis

Аудиоверсия логического бенчмарка Big Bench Hard

ArtificialAnalysis/big_bench_audio

1000 англоязычных аудиозаписей со сложными логическими задачами для тестирования мультимодальных моделей.

Что внутри

Датасет представляет собой озвученную версию части вопросов из бенчмарка Big Bench Hard на английском языке. Внутри лежат 1000 аудиозаписей и текстов из нескольких категорий, включая задачи на формальные логические ошибки и силлогизмы (250 вопросов). Материал подготовлен командой Artificial Analysis для оценки моделей, работающих со звуком.

Что можно сделать

  • Проверка логического мышления у нейросетей с поддержкой аудиовхода (audio-to-audio и мультимодальных LLM)
  • Тестирование устойчивости голосовых ассистентов к сложным формулировкам без предварительной транскрибации
Задачи
Обработка аудио
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
15,5 тыс.
Лайков
39

Как загрузить

from datasets import load_dataset

ds = load_dataset("ArtificialAnalysis/big_bench_audio")