К содержимому

Датасет · HuggingFaceBio

Геномный корпус ДНК и РНК на 1,1 триллиона нуклеотидов

HuggingFaceBio/carbon-pretraining-corpus

173 миллиона последовательностей ДНК и РНК эукариот и прокариот для предобучения базовых геномных моделей.

Что внутри

Масштабный биологический корпус в формате parquet, содержащий 173 миллиона последовательностей ДНК и РНК разных видов эукариот и прокариот. По четырем основным конфигурациям объем достигает 1,1 триллиона пар оснований (около 180 миллиардов токенов для 6-mer токенизатора). Данные подготовлены HuggingFaceBio для предобучения геномной фундаментной модели Carbon.

Что можно сделать

  • Предобучение (pretraining) базовых геномных языковых моделей
  • Исследование последовательностей ДНК и РНК различных организмов
  • Бенчмаркинг биоинформатических алгоритмов и токенизаторов
Задачи
Генерация текста
Размер
100M–1B записей
Скачиваний за месяц
2,9 тыс.
Лайков
34

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceBio/carbon-pretraining-corpus")