Финансовые задачи для оценки LLM

Что внутри

Это evaluation-датасеты из статьи Adapting Large Language Models via Reading Comprehension (ICLR 2024). Они относятся к финансовой области и предназначены для проверки LLM после continued pre-training. В карточке указаны задачи text-classification, question-answering и zero-shot-classification; данные на английском.

Что можно сделать

• Оценка финансовых QA-моделей
• Проверка zero-shot классификации в финансах
• Сравнение методов доменной адаптации LLM

Как загрузить

from datasets import load_dataset

ds = load_dataset("AdaptLLM/finance-tasks")