К содержимому
Датасеты

CulturaX

огромный очищенный датасет на 6,3 трлн токенов для LLM

2 мин чтения

CulturaX — это масштабный публичный текстовый корпус, созданный специально для разработки и обучения больших языковых моделей (LLM). Внутри собрано 6,3 триллиона токенов на 167 языках мира. Все тексты прошли многоступенчатую очистку и дедупликацию (удаление повторяющихся фрагментов), чтобы модели не переобучались на мусоре и дублях. Датасет пригодится исследователям и инженерам, которым нужна качественная текстовая база для предобучения или дообучения мультиязычных нейросетей.

Ключевые особенности

  • Охват 167 языков: включает как распространённые, так и редкие языки (af, als, am, an, ar, arz и десятки других).
  • Колоссальный объём: корпус насчитывает 6,3 трлн токенов, что делает его полноценной базой для крупного предобучения.
  • Многоступенчатая очистка: данные заранее отфильтрованы от шума и дедуплицированы для повышения качества итоговых моделей.
  • Открытый доступ: публичный корпус подходит для задач генерации текста (text-generation) и заполнения масок (fill-mask).

Что можно сделать

  • Обучить мультиязычную LLM с нуля: использовать очищенные тексты в качестве основного корпуса для предобучения языковой модели.
  • Провести дообучение (continued pretraining): расширить языковой охват существующей модели за счёт добавления данных на нужных из 167 языков.
  • Натренировать энкодеры: подготовить модели для задачи fill-mask (предсказание пропущенных слов в контексте) для анализа и поиска текстов.

Пример

from datasets import load_dataset

# Загрузка в потоковом режиме из-за большого объёма
dataset = load_dataset("uonlp/CulturaX", "ru", streaming=True)
print(next(iter(dataset["train"])))
ПодробнееОбъём корпуса: 6,3 трлн токенов, 167 языков.
Количество записей: от 1 млрд до 10 млрд.
Модальность: текст (text-generation, fill-mask).
Обработка: многоступенчатая фильтрация и дедупликация.
Обсудить Telegram 711 20,1 тыс.

О модели

datasets/uonlp/CulturaX
Автор
uonlp
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

20,1 тыс.711

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Датасеты

PersonaHub

PersonaHub
Датасеты

openai/gdpval

openai/gdpval