Датасет · VTSNLP
Отобранный вьетнамский текстовый корпус
VTSNLP/vietnamese_curated_dataset
Большой очищенный корпус вьетнамских текстов, собранный из открытых датасетов.
Что внутри
Датасет собран из нескольких открытых наборов с вьетнамскими текстами и очищен с помощью NeMo Curator. Разработчик — Viettel Solutions. Язык — вьетнамский; по метаданным объём — от 10 до 100 млн примеров.
Что можно сделать
- Предобучение или дообучение вьетнамской языковой модели
- Очистка и подготовка корпуса для LLM
- Оценка качества вьетнамского текста
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 746
- Лайков
- 78
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("VTSNLP/vietnamese_curated_dataset")