CulturaX
огромный очищенный датасет на 6,3 трлн токенов для LLM
2 min read
CulturaX — это масштабный публичный текстовый корпус, созданный специально для разработки и обучения больших языковых моделей (LLM). Внутри собрано 6,3 триллиона токенов на 167 языках мира. Все тексты прошли многоступенчатую очистку и дедупликацию (удаление повторяющихся фрагментов), чтобы модели не переобучались на мусоре и дублях. Датасет пригодится исследователям и инженерам, которым нужна качественная текстовая база для предобучения или дообучения мультиязычных нейросетей.
Ключевые особенности
- Охват 167 языков: включает как распространённые, так и редкие языки (af, als, am, an, ar, arz и десятки других).
- Колоссальный объём: корпус насчитывает 6,3 трлн токенов, что делает его полноценной базой для крупного предобучения.
- Многоступенчатая очистка: данные заранее отфильтрованы от шума и дедуплицированы для повышения качества итоговых моделей.
- Открытый доступ: публичный корпус подходит для задач генерации текста (text-generation) и заполнения масок (fill-mask).
Что можно сделать
- Обучить мультиязычную LLM с нуля: использовать очищенные тексты в качестве основного корпуса для предобучения языковой модели.
- Провести дообучение (continued pretraining): расширить языковой охват существующей модели за счёт добавления данных на нужных из 167 языков.
- Натренировать энкодеры: подготовить модели для задачи fill-mask (предсказание пропущенных слов в контексте) для анализа и поиска текстов.
Пример
from datasets import load_dataset
# Загрузка в потоковом режиме из-за большого объёма
dataset = load_dataset("uonlp/CulturaX", "ru", streaming=True)
print(next(iter(dataset["train"])))Подробнее
Объём корпуса: 6,3 трлн токенов, 167 языков.Количество записей: от 1 млрд до 10 млрд.
Модальность: текст (text-generation, fill-mask).
Обработка: многоступенчатая фильтрация и дедупликация.








Comments