Датасет · openai
Бенчмарк многошаговых рассуждений по графам
openai/graphwalks
Текстовый бенчмарк: по списку рёбер графа выполнить операцию и вернуть итоговые узлы.
Что внутри
Датасет GraphWalks для проверки многошаговых рассуждений на длинном контексте. Модели дают граф в виде списка направленных рёбер и описание операции, которую нужно выполнить, и она должна вернуть множество получившихся узлов (например, обход в ширину). Размер — от 1K до 10K примеров, модальность текст.
Что можно сделать
- Проверить LLM на многошаговые рассуждения по графам
- Оценить работу модели с длинным контекстом
- Бенчмарк агентных пайплайнов на графовых операциях
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 7,5 тыс.
- Лайков
- 142
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openai/graphwalks")