Датасет · akshathmangudi
Бенчмарк генерации кода для научных задач SciCode
akshathmangudi/SciCode
Сложные текстовые задачи на английском языке для оценки способности языковых моделей писать код для научных исследований.
Что внутри
Набор содержит от 1 000 до 10 000 текстовых заданий, созданных при участии учёных и исследователей ИИ из 16 различных областей естественных наук. Датасет предназначен для реалистичной проверки того, насколько хорошо языковые модели справляются с генерацией кода для решения реальных исследовательских задач.
Что можно сделать
- Оценка и сравнение языковых моделей в задачах научного программирования
- Проверка способности LLM решать сложные прикладные задачи из естественных наук
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 20,4 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("akshathmangudi/SciCode")