К содержимому

Датасет · ArtificialAnalysis

Бенчмарк логики на длинном контексте AA-LCR

ArtificialAnalysis/AA-LCR

100 сложных вопросов по большим наборам документов (~100k токенов) для проверки глубокого анализа текста.

Что внутри

Датасет включает 100 сложных текстовых и табличных вопросов, требующих рассуждений сразу по нескольким реальным документам. Каждый набор документов в среднем занимает около 100 тысяч входных токенов, а ответы нельзя найти прямым поиском — нужен синтез информации из разных источников. В версии 1.1 от сентября 2026 года перепроверены и исправлены 16 эталонных ответов.

Что можно сделать

  • Проверка LLM с большим контекстным окном на реальное понимание текста, а не простой поиск
  • Оценка RAG-систем при работе с множеством объемных документов
Размер
до 1K записей
Скачиваний за месяц
24,4 тыс.
Лайков
40

Как загрузить

from datasets import load_dataset

ds = load_dataset("ArtificialAnalysis/AA-LCR")