К содержимому

Датасет · meaecosystem

Крупный текстовый корпус с упором на индонезийский язык

meaecosystem/pustaka

Отфильтрованный многоязычный веб-корпус объёмом от 1 до 10 млрд записей для обучения языковых моделей.

Что внутри

Открытый текстовый корпус от MEA Ecosystem объёмом от 1 до 10 миллиардов примеров, созданный с основным фокусом на индонезийский язык (также присутствуют английский, японский, китайский и корейский). Данные собраны из веб-краулинга, энциклопедий, новостей, форумов и словарей сленга. Все тексты прошли очистку с определением языка и фильтрацией по длине документов.

Что можно сделать

  • Pretrain и дообучение LLM на индонезийском и азиатских языках
  • Адаптация токенизаторов и языковых моделей под разговорную лексику
Задачи
Генерация текста
Языки
Индонезийский, Английский, Японский, Китайский, Корейский
Размер
10M–100M записей
Скачиваний за месяц
67,8 тыс.
Лайков
13

Как загрузить

from datasets import load_dataset

ds = load_dataset("meaecosystem/pustaka")