Датасет · HuggingFaceBio
Геномный корпус ДНК и РНК на 1,1 триллиона нуклеотидов
HuggingFaceBio/carbon-pretraining-corpus
173 миллиона последовательностей ДНК и РНК эукариот и прокариот для предобучения базовых геномных моделей.
Что внутри
Масштабный биологический корпус в формате parquet, содержащий 173 миллиона последовательностей ДНК и РНК разных видов эукариот и прокариот. По четырем основным конфигурациям объем достигает 1,1 триллиона пар оснований (около 180 миллиардов токенов для 6-mer токенизатора). Данные подготовлены HuggingFaceBio для предобучения геномной фундаментной модели Carbon.
Что можно сделать
- Предобучение (pretraining) базовых геномных языковых моделей
- Исследование последовательностей ДНК и РНК различных организмов
- Бенчмаркинг биоинформатических алгоритмов и токенизаторов
- Задачи
- Генерация текста
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 2,9 тыс.
- Лайков
- 34
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceBio/carbon-pretraining-corpus")