К содержимому

Датасет · TeraflopAI

43 млрд токенов финансовой отчётности из базы SEC EDGAR

TeraflopAI/SEC-EDGAR

Огромный корпус документов и отчётов компаний из базы SEC EDGAR для обучения и оценки финансовых языковых моделей.

Что внутри

Датасет весит 590 ГБ и включает 8 миллионов сэмплов общим объёмом 43 миллиарда токенов на английском языке. В него вошли все основные документы из базы американского регулятора SEC EDGAR, собранные с помощью библиотеки datamule-python и официального API. Релиз подготовлен совместно Datamule, Teraflop AI и Eventual.

Что можно сделать

  • Предобучение и дообучение специализированных финансовых LLM
  • Обучение моделей извлечения и классификации данных из корпоративных отчётов
  • Построение RAG-систем для анализа публичных компаний
Задачи
Генерация текста, Классификация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
16,8 тыс.
Лайков
52

Как загрузить

from datasets import load_dataset

ds = load_dataset("TeraflopAI/SEC-EDGAR")