Датасет · AdaptLLM
Медицинский бенчмарк для оценки дообученных LLM
AdaptLLM/medicine-tasks
Набор медицинских задач на классификацию и ответы на вопросы из статьи с ICLR 2024 для проверки знаний моделей.
Что внутри
Содержит от 1 до 10 тысяч примеров на английском языке в текстовом и табличном форматах. Датасет подготовлен авторами исследования по адаптации языковых моделей к узким доменам (ICLR 2024) и предназначен для оценки их способности отвечать на вопросы и классифицировать тексты.
Что можно сделать
- Оценка качества медицинских LLM в задачах question-answering
- Тестирование моделей на zero-shot классификацию медицинских текстов
- Проверка сохранения навыков следования инструкциям после дообучения на домене
- Задачи
- Классификация текста, Вопрос-ответ, Zero-shot классификация
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 381
- Лайков
- 33
Как загрузить
from datasets import load_dataset
ds = load_dataset("AdaptLLM/medicine-tasks")