Датасет · Hothan
Мультимодальный бенчмарк олимпиадных научных задач
Hothan/OlympiadBench
Сложные задачи олимпиадного уровня с картинками на английском и китайском языках для оценки научного рассуждения моделей.
Что внутри
Бенчмарк включает от 1 до 10 тысяч задач олимпиадного уровня, представленных в виде текста и изображений (включая задачи по физике). Данные двуязычные — на английском и китайском языках. Карточка сопровождает статью ACL 2024 и содержит обновлённую версию с исправленным отображением картинок.
Что можно сделать
- Оценка способности VLM и LLM решать сложные научные и физические задачи
- Бенчмаркинг мультимодального рассуждения на английском и китайском языках
- Задачи
- Вопрос-ответ, Вопросы по картинкам
- Языки
- Китайский, Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 21,8 тыс.
- Лайков
- 52
Как загрузить
from datasets import load_dataset
ds = load_dataset("Hothan/OlympiadBench")