К содержимому

Датасет · m-a-p

Первый корпус для предобучения музыкальных LLM

m-a-p/MusicPile

Англоязычный корпус на 5,17 млн текстов (4,16 млрд токенов) о музыке, с нотами в ABC-нотации и книгами.

Что внутри

Крупный текстовый датасет на английском языке, содержащий 5,17 миллиона примеров и около 4,16 миллиарда токенов. В него вошли веб-тексты, энциклопедии, книги о музыке, описания музыкальных видео с YouTube, музыкальные произведения в ABC-нотации, а также математика и код. Данные подготовлены для этапа предобучения и удобно загружаются через библиотеку datasets.

Что можно сделать

  • Предобучение (pretraining) и дообучение LLM для понимания теории музыки и генерации нот в ABC-формате
  • Создание специализированных музыкальных ассистентов и чат-ботов
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
685
Лайков
60

Как загрузить

from datasets import load_dataset

ds = load_dataset("m-a-p/MusicPile")