Датасет · IFM
Корпус для предобучения LLM TxT360
IFM/TxT360
Огромный англоязычный текстовый корпус для предобучения LLM с обновлёнными источниками v1.1.
Что внутри
Корпус текстов на английском для предобучения LLM; размер в метаданных указан как n>1T. В v1.1 добавлены источники TxT360_BestOfWeb, TxT360_QA, europarl-aligned и wikipedia_extended. TxT360_BestOfWeb отфильтрован моделью ProX, похожей на FineWeb-Edu, но с дополнительной оценкой формата.
Что можно сделать
- Предобучение базовой англоязычной LLM
- Continued pretraining и дообучение языковой модели
- Исследование фильтрации и качества веб-текстов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- больше 1T записей
- Скачиваний за месяц
- 35,9 тыс.
- Лайков
- 285
Как загрузить
from datasets import load_dataset
ds = load_dataset("IFM/TxT360")