Датасет · Viet-Mistral
Очищенный мультиязычный текстовый корпус на 75 языков (15 ТБ)
Viet-Mistral/CulturaY
Огромный корпус веб-текстов на 75 языках на базе HPLT v1.1 для предобучения языковых моделей.
Что внутри
Масштабный очищенный текстовый датасет от создателей CulturaX, содержащий от 1 до 10 миллиардов документов на 75 языках (включая белорусский, болгарский, арабский и другие). Данные получены путём очистки корпуса HPLT v1.1 и занимают 15 ТБ в несжатом виде или 3 ТБ после сжатия zstd. Набор использовался для обучения собственных языковых моделей авторов.
Что можно сделать
- Предобучение (pre-training) и продолженное предобучение больших языковых моделей (LLM) с нуля
- Обучение мультиязычных моделей заполнения пропусков (fill-mask) и эмбеддингов
- Сбор моноязычных корпусов высокой очистки для 75 различных языков
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- af, Арабский, az, be, bg, bn, ca, cs и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 9,4 тыс.
- Лайков
- 41
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Viet-Mistral/CulturaY")