Датасет · marin-community
Статистика токенов предобучения Marin
marin-community/token-counts
Информация о количестве токенов для всех датасетов, использованных в предобучении моделей Marin.
Что внутри
Содержит текстовые данные с описанием идентификаторов датасетов, количества токенов после токенизации и доменов контента (веб, код, математика, академические тексты, книги), а также флаг синтетических данных. Объем датасета составляет менее 1K записей.
Что можно сделать
- Анализ состава и распределения токенов в обучающих корпусах
- Исследование доменов данных для претрейна LLM
- Задачи
- Генерация текста
- Размер
- до 1K записей
- Скачиваний за месяц
- 771
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("marin-community/token-counts")