К содержимому

Датасет · hicai-zju

Бенчмарк многоуровневых научных знаний SciKnowEval

hicai-zju/SciKnowEval

От 10 до 100 тысяч научных заданий на английском для комплексной проверки знаний LLM.

Что внутри

Текстовый бенчмарк на английском языке, созданный для многоуровневой оценки научных знаний больших языковых моделей. Включает от 10 до 100 тысяч примеров, охватывающих задачи вопросов и ответов, классификации текстов, суммаризации и извлечения признаков. Концепция оценки вдохновлена принципами древнекитайского трактата «Учение о середине».

Что можно сделать

  • Комплексное тестирование научных знаний и логики LLM на разных уровнях сложности
  • Оценка моделей в задачах суммаризации и классификации научных текстов
Задачи
Вопрос-ответ, Эмбеддинги, Классификация текста, Суммаризация
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
5,8 тыс.
Лайков
19

Как загрузить

from datasets import load_dataset

ds = load_dataset("hicai-zju/SciKnowEval")