Датасет · meaecosystem
Крупный текстовый корпус с упором на индонезийский язык
meaecosystem/pustaka
Отфильтрованный многоязычный веб-корпус объёмом от 1 до 10 млрд записей для обучения языковых моделей.
Что внутри
Открытый текстовый корпус от MEA Ecosystem объёмом от 1 до 10 миллиардов примеров, созданный с основным фокусом на индонезийский язык (также присутствуют английский, японский, китайский и корейский). Данные собраны из веб-краулинга, энциклопедий, новостей, форумов и словарей сленга. Все тексты прошли очистку с определением языка и фильтрацией по длине документов.
Что можно сделать
- Pretrain и дообучение LLM на индонезийском и азиатских языках
- Адаптация токенизаторов и языковых моделей под разговорную лексику
- Задачи
- Генерация текста
- Языки
- Индонезийский, Английский, Японский, Китайский, Корейский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 67,8 тыс.
- Лайков
- 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("meaecosystem/pustaka")