Датасет · TeraflopAI
43 млрд токенов финансовой отчётности из базы SEC EDGAR
TeraflopAI/SEC-EDGAR
Огромный корпус документов и отчётов компаний из базы SEC EDGAR для обучения и оценки финансовых языковых моделей.
Что внутри
Датасет весит 590 ГБ и включает 8 миллионов сэмплов общим объёмом 43 миллиарда токенов на английском языке. В него вошли все основные документы из базы американского регулятора SEC EDGAR, собранные с помощью библиотеки datamule-python и официального API. Релиз подготовлен совместно Datamule, Teraflop AI и Eventual.
Что можно сделать
- Предобучение и дообучение специализированных финансовых LLM
- Обучение моделей извлечения и классификации данных из корпоративных отчётов
- Построение RAG-систем для анализа публичных компаний
- Задачи
- Генерация текста, Классификация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 16,8 тыс.
- Лайков
- 52
Как загрузить
from datasets import load_dataset
ds = load_dataset("TeraflopAI/SEC-EDGAR")