Skip to content
Datasets

CulturaX

огромный очищенный датасет на 6,3 трлн токенов для LLM

2 min read

CulturaX — это масштабный публичный текстовый корпус, созданный специально для разработки и обучения больших языковых моделей (LLM). Внутри собрано 6,3 триллиона токенов на 167 языках мира. Все тексты прошли многоступенчатую очистку и дедупликацию (удаление повторяющихся фрагментов), чтобы модели не переобучались на мусоре и дублях. Датасет пригодится исследователям и инженерам, которым нужна качественная текстовая база для предобучения или дообучения мультиязычных нейросетей.

Ключевые особенности

  • Охват 167 языков: включает как распространённые, так и редкие языки (af, als, am, an, ar, arz и десятки других).
  • Колоссальный объём: корпус насчитывает 6,3 трлн токенов, что делает его полноценной базой для крупного предобучения.
  • Многоступенчатая очистка: данные заранее отфильтрованы от шума и дедуплицированы для повышения качества итоговых моделей.
  • Открытый доступ: публичный корпус подходит для задач генерации текста (text-generation) и заполнения масок (fill-mask).

Что можно сделать

  • Обучить мультиязычную LLM с нуля: использовать очищенные тексты в качестве основного корпуса для предобучения языковой модели.
  • Провести дообучение (continued pretraining): расширить языковой охват существующей модели за счёт добавления данных на нужных из 167 языков.
  • Натренировать энкодеры: подготовить модели для задачи fill-mask (предсказание пропущенных слов в контексте) для анализа и поиска текстов.

Пример

from datasets import load_dataset

# Загрузка в потоковом режиме из-за большого объёма
dataset = load_dataset("uonlp/CulturaX", "ru", streaming=True)
print(next(iter(dataset["train"])))
ПодробнееОбъём корпуса: 6,3 трлн токенов, 167 языков.
Количество записей: от 1 млрд до 10 млрд.
Модальность: текст (text-generation, fill-mask).
Обработка: многоступенчатая фильтрация и дедупликация.
Discuss Telegram 711 20.1K

About the model

datasets/uonlp/CulturaX
Author
uonlp
Category
Datasets
Released
Posted

On NeyroLearn

Hugging Face

20.1K711

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments

Datasets

PersonaHub

PersonaHub