Датасет · AgentPublic
Открытые государственные данные на 380 млрд токенов
AgentPublic/open_government
Масштабный корпус текстов и таблиц из открытых государственных архивов США, Франции и ЕС для предобучения языковых моделей.
Что внутри
Внутри собрано около 380 миллиардов токенов (от 10 до 100 млн записей) в текстовом и табличном виде. Материалы взяты из открытых государственных программ США, Франции, европейских и международных организаций, включая 16 коллекций по финансам и праву. Среди языков указаны английский, французский, болгарский, хорватский, чешский и датский.
Что можно сделать
- Предобучение (pretrain) больших языковых моделей на официальных, юридических и финансовых текстах
- Создание RAG-систем для поиска по государственным и правовым документам
- Обучение моделей работе с табличными данными из госсектора
- Задачи
- Генерация текста
- Языки
- Английский, Французский, bg, hr, cs, da, Нидерландский, et и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,6 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("AgentPublic/open_government")