Датасет · MineAITechnology
Корпус на 20 млрд токенов для претрейна MineAI
MineAITechnology/mine-20B-Tokens
Очищенный мультиязычный корпус (английский, урду, арабский, хинди, код и математика) в parquet на 19,34 млрд токенов.
Что внутри
Датасет для предобучения модели MineAI 2B включает 16,2 миллиона документов (19,34 млрд обучающих и 19 млн валидационных токенов) под лицензией Apache-2.0. Внутри собраны очищенные тексты на английском, урду, арабском и хинди, код на 9 языках и математика, разбитые на parquet-файлы с оценками качества и количеством токенов.
Что можно сделать
- Предобучение (pretraining) компактных языковых моделей с нуля
- Языковая адаптация LLM под урду, арабский и хинди с сохранением навыков в коде и математике
- Задачи
- Генерация текста
- Языки
- Английский, ur, Арабский, Хинди
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 711
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("MineAITechnology/mine-20B-Tokens")