К содержимому

Датасет · AdaptLLM

Медицинский бенчмарк для оценки дообученных LLM

AdaptLLM/medicine-tasks

Набор медицинских задач на классификацию и ответы на вопросы из статьи с ICLR 2024 для проверки знаний моделей.

Что внутри

Содержит от 1 до 10 тысяч примеров на английском языке в текстовом и табличном форматах. Датасет подготовлен авторами исследования по адаптации языковых моделей к узким доменам (ICLR 2024) и предназначен для оценки их способности отвечать на вопросы и классифицировать тексты.

Что можно сделать

  • Оценка качества медицинских LLM в задачах question-answering
  • Тестирование моделей на zero-shot классификацию медицинских текстов
  • Проверка сохранения навыков следования инструкциям после дообучения на домене
Задачи
Классификация текста, Вопрос-ответ, Zero-shot классификация
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
381
Лайков
33

Как загрузить

from datasets import load_dataset

ds = load_dataset("AdaptLLM/medicine-tasks")