К содержимому

Датасет · Viet-Mistral

Очищенный мультиязычный текстовый корпус на 75 языков (15 ТБ)

Viet-Mistral/CulturaY

Огромный корпус веб-текстов на 75 языках на базе HPLT v1.1 для предобучения языковых моделей.

Что внутри

Масштабный очищенный текстовый датасет от создателей CulturaX, содержащий от 1 до 10 миллиардов документов на 75 языках (включая белорусский, болгарский, арабский и другие). Данные получены путём очистки корпуса HPLT v1.1 и занимают 15 ТБ в несжатом виде или 3 ТБ после сжатия zstd. Набор использовался для обучения собственных языковых моделей авторов.

Что можно сделать

  • Предобучение (pre-training) и продолженное предобучение больших языковых моделей (LLM) с нуля
  • Обучение мультиязычных моделей заполнения пропусков (fill-mask) и эмбеддингов
  • Сбор моноязычных корпусов высокой очистки для 75 различных языков
Задачи
Генерация текста, Заполнение пропусков
Языки
af, Арабский, az, be, bg, bn, ca, cs и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
9,4 тыс.
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Viet-Mistral/CulturaY")