Датасет · heitorrosa
Корпус финансовых отчётов регулятора Бразилии
heitorrosa/cvm-corpus
Очищенные и нарезанные на чанки документы бразильского регулятора CVM на португальском для дообучения языковых моделей.
Что внутри
Корпус регуляторных документов бразильской комиссии CVM на португальском языке (PT-BR), объёмом 100K–1M записей (7,2 ГБ в формате jsonl). Тексты очищены и разбиты на фрагменты с метаданными: компания, CNPJ, категория, тема, дата и оценка качества извлечения. Помимо полного архива есть отфильтрованная с помощью DSIR подвыборка на 250 млн токенов для DAPT.
Что можно сделать
- Дообучение (DAPT) языковых моделей на финансовом португальском языке
- Построение RAG-систем по корпоративной и регуляторной отчётности Бразилии
- Обучение моделей извлечения метаданных из финансовых документов
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Португальский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 20 тыс.
- Лайков
- 0
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("heitorrosa/cvm-corpus")