К содержимому

Датасет · Hothan

Мультимодальный бенчмарк олимпиадных научных задач

Hothan/OlympiadBench

Сложные задачи олимпиадного уровня с картинками на английском и китайском языках для оценки научного рассуждения моделей.

Что внутри

Бенчмарк включает от 1 до 10 тысяч задач олимпиадного уровня, представленных в виде текста и изображений (включая задачи по физике). Данные двуязычные — на английском и китайском языках. Карточка сопровождает статью ACL 2024 и содержит обновлённую версию с исправленным отображением картинок.

Что можно сделать

  • Оценка способности VLM и LLM решать сложные научные и физические задачи
  • Бенчмаркинг мультимодального рассуждения на английском и китайском языках
Задачи
Вопрос-ответ, Вопросы по картинкам
Языки
Китайский, Английский
Размер
1K–10K записей
Скачиваний за месяц
21,8 тыс.
Лайков
52

Как загрузить

from datasets import load_dataset

ds = load_dataset("Hothan/OlympiadBench")