К содержимому

Датасет · MineAITechnology

Корпус на 20 млрд токенов для претрейна MineAI

MineAITechnology/mine-20B-Tokens

Очищенный мультиязычный корпус (английский, урду, арабский, хинди, код и математика) в parquet на 19,34 млрд токенов.

Что внутри

Датасет для предобучения модели MineAI 2B включает 16,2 миллиона документов (19,34 млрд обучающих и 19 млн валидационных токенов) под лицензией Apache-2.0. Внутри собраны очищенные тексты на английском, урду, арабском и хинди, код на 9 языках и математика, разбитые на parquet-файлы с оценками качества и количеством токенов.

Что можно сделать

  • Предобучение (pretraining) компактных языковых моделей с нуля
  • Языковая адаптация LLM под урду, арабский и хинди с сохранением навыков в коде и математике
Задачи
Генерация текста
Языки
Английский, ur, Арабский, Хинди
Размер
10M–100M записей
Скачиваний за месяц
711
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("MineAITechnology/mine-20B-Tokens")