К содержимому

Датасет · heitorrosa

Корпус финансовых отчётов регулятора Бразилии

heitorrosa/cvm-corpus

Очищенные и нарезанные на чанки документы бразильского регулятора CVM на португальском для дообучения языковых моделей.

Что внутри

Корпус регуляторных документов бразильской комиссии CVM на португальском языке (PT-BR), объёмом 100K–1M записей (7,2 ГБ в формате jsonl). Тексты очищены и разбиты на фрагменты с метаданными: компания, CNPJ, категория, тема, дата и оценка качества извлечения. Помимо полного архива есть отфильтрованная с помощью DSIR подвыборка на 250 млн токенов для DAPT.

Что можно сделать

  • Дообучение (DAPT) языковых моделей на финансовом португальском языке
  • Построение RAG-систем по корпоративной и регуляторной отчётности Бразилии
  • Обучение моделей извлечения метаданных из финансовых документов
Задачи
Генерация текста, Заполнение пропусков
Языки
Португальский
Размер
100K–1M записей
Скачиваний за месяц
20 тыс.
Лайков
0

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("heitorrosa/cvm-corpus")