К содержимому

Датасет · akshathmangudi

Бенчмарк генерации кода для научных задач SciCode

akshathmangudi/SciCode

Сложные текстовые задачи на английском языке для оценки способности языковых моделей писать код для научных исследований.

Что внутри

Набор содержит от 1 000 до 10 000 текстовых заданий, созданных при участии учёных и исследователей ИИ из 16 различных областей естественных наук. Датасет предназначен для реалистичной проверки того, насколько хорошо языковые модели справляются с генерацией кода для решения реальных исследовательских задач.

Что можно сделать

  • Оценка и сравнение языковых моделей в задачах научного программирования
  • Проверка способности LLM решать сложные прикладные задачи из естественных наук
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
20,4 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("akshathmangudi/SciCode")