К содержимому

Датасет · AgentPublic

Открытые государственные данные на 380 млрд токенов

AgentPublic/open_government

Масштабный корпус текстов и таблиц из открытых государственных архивов США, Франции и ЕС для предобучения языковых моделей.

Что внутри

Внутри собрано около 380 миллиардов токенов (от 10 до 100 млн записей) в текстовом и табличном виде. Материалы взяты из открытых государственных программ США, Франции, европейских и международных организаций, включая 16 коллекций по финансам и праву. Среди языков указаны английский, французский, болгарский, хорватский, чешский и датский.

Что можно сделать

  • Предобучение (pretrain) больших языковых моделей на официальных, юридических и финансовых текстах
  • Создание RAG-систем для поиска по государственным и правовым документам
  • Обучение моделей работе с табличными данными из госсектора
Задачи
Генерация текста
Языки
Английский, Французский, bg, hr, cs, da, Нидерландский, et и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
3,6 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("AgentPublic/open_government")