Датасет · google
Вопросы и ответы по графикам и таблицам из научных статей
google/spiqa
Датасет SPIQA от Google для проверки систем вопрос-ответ по иллюстрациям, графикам, таблицам и тексту научных работ.
Что внутри
Набор содержит вопросы и ответы, составленные на основе графиков, таблиц и текстовых фрагментов из научных статей по компьютерным наукам. Несмотря на описание как крупного бенчмарка, в метаданных текущей выгрузки указан размер менее 1 тысячи записей и текстовая модальность. Проект опубликован командой Google вместе с кодом для оценки метрик.
Что можно сделать
- Тестирование мультимодальных моделей на понимание научных графиков и диаграмм
- Оценка систем извлечения информации из сложных технических документов
- Бенчмаркинг QA-моделей в домене Computer Science
- Задачи
- Вопрос-ответ
- Размер
- до 1K записей
- Скачиваний за месяц
- 3,4 тыс.
- Лайков
- 51
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/spiqa")