Датасет · IFM
TxT360-v2: веб- и QA-тексты
IFM/TxT360-v2
Корпус веб- и вопросно-ответных текстов для предобучения моделей из релиза K2 Horizon.
Что внутри
Это часть коллекции K2 Horizon с исходными данными для предобучения. Репозиторий разбит на несколько подмножеств; здесь — веб-тексты и вопросно-ответные тексты, всего 3 подмножества. Каждое подмножество имеет train-сплит в виде Parquet-шардов; объём по метаданным — 1–10 млрд.
Что можно сделать
- Предобучить LLM на веб- и QA-текстах
- Продолжить pretraining на Parquet-шардах K2 Horizon
- Проверить пайплайн загрузки данных K2 Horizon
- Задачи
- Генерация текста
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 68,7 тыс.
- Лайков
- 105
Модели, обученные на нём
- AxiomicLabs/GPT-X3-150MГенерация текста 3,2 тыс.
- MinimaLabs/KLM-1.5Генерация текста 1,5 тыс.
- AxiomicLabs/GPT-S3-3MГенерация текста 1,1 тыс.
- techdotus/Ethoric-10MГенерация текста 1,1 тыс.
- kash8080/Mantis-50M-BaseГенерация текста 840
- ReckonerLabs/Pascaline-3MГенерация текста 718
- kash8080/Mantis-50MГенерация текста 670
- MinimaLabs/KLM-1.6Генерация текста 666
Как загрузить
from datasets import load_dataset
ds = load_dataset("IFM/TxT360-v2")