Датасет · m-a-p
Первый корпус для предобучения музыкальных LLM
m-a-p/MusicPile
Англоязычный корпус на 5,17 млн текстов (4,16 млрд токенов) о музыке, с нотами в ABC-нотации и книгами.
Что внутри
Крупный текстовый датасет на английском языке, содержащий 5,17 миллиона примеров и около 4,16 миллиарда токенов. В него вошли веб-тексты, энциклопедии, книги о музыке, описания музыкальных видео с YouTube, музыкальные произведения в ABC-нотации, а также математика и код. Данные подготовлены для этапа предобучения и удобно загружаются через библиотеку datasets.
Что можно сделать
- Предобучение (pretraining) и дообучение LLM для понимания теории музыки и генерации нот в ABC-формате
- Создание специализированных музыкальных ассистентов и чат-ботов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 685
- Лайков
- 60
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/MusicPile")