К содержимому

Датасет · marin-community

Статистика токенов предобучения Marin

marin-community/token-counts

Информация о количестве токенов для всех датасетов, использованных в предобучении моделей Marin.

Что внутри

Содержит текстовые данные с описанием идентификаторов датасетов, количества токенов после токенизации и доменов контента (веб, код, математика, академические тексты, книги), а также флаг синтетических данных. Объем датасета составляет менее 1K записей.

Что можно сделать

  • Анализ состава и распределения токенов в обучающих корпусах
  • Исследование доменов данных для претрейна LLM
Задачи
Генерация текста
Размер
до 1K записей
Скачиваний за месяц
771
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("marin-community/token-counts")