Датасет · ArtificialAnalysis
Бенчмарк логики на длинном контексте AA-LCR
ArtificialAnalysis/AA-LCR
100 сложных вопросов по большим наборам документов (~100k токенов) для проверки глубокого анализа текста.
Что внутри
Датасет включает 100 сложных текстовых и табличных вопросов, требующих рассуждений сразу по нескольким реальным документам. Каждый набор документов в среднем занимает около 100 тысяч входных токенов, а ответы нельзя найти прямым поиском — нужен синтез информации из разных источников. В версии 1.1 от сентября 2026 года перепроверены и исправлены 16 эталонных ответов.
Что можно сделать
- Проверка LLM с большим контекстным окном на реальное понимание текста, а не простой поиск
- Оценка RAG-систем при работе с множеством объемных документов
- Размер
- до 1K записей
- Скачиваний за месяц
- 24,4 тыс.
- Лайков
- 40
Как загрузить
from datasets import load_dataset
ds = load_dataset("ArtificialAnalysis/AA-LCR")