Датасет · hicai-zju
Бенчмарк многоуровневых научных знаний SciKnowEval
hicai-zju/SciKnowEval
От 10 до 100 тысяч научных заданий на английском для комплексной проверки знаний LLM.
Что внутри
Текстовый бенчмарк на английском языке, созданный для многоуровневой оценки научных знаний больших языковых моделей. Включает от 10 до 100 тысяч примеров, охватывающих задачи вопросов и ответов, классификации текстов, суммаризации и извлечения признаков. Концепция оценки вдохновлена принципами древнекитайского трактата «Учение о середине».
Что можно сделать
- Комплексное тестирование научных знаний и логики LLM на разных уровнях сложности
- Оценка моделей в задачах суммаризации и классификации научных текстов
- Задачи
- Вопрос-ответ, Эмбеддинги, Классификация текста, Суммаризация
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 5,8 тыс.
- Лайков
- 19
Как загрузить
from datasets import load_dataset
ds = load_dataset("hicai-zju/SciKnowEval")