abc-gpt
генератор ирландских мелодий в ABC-нотации
2 мин чтенияобновлено
Компактная языковая модель на базе архитектуры GPT-2 (26.8M параметров), обученная с нуля для сочинения традиционных ирландских танцевальных мелодий в текстовом формате ABC (система записи нот обычными символами). Разработчик matteospanio провёл модель через три этапа: предобучение на 214 тыс. мелодий из датасета IrishMAN, SFT (обучение с учителем для понимания структуры) и GRPO (обучение с подкреплением с проверкой ритма и синтаксиса через библиотеку music21). На выходе вы получаете готовую нотную запись с заданным размером, тональностью и числом тактов, которую можно сразу прослушать в любом ABC-плеере.
Ключевые особенности
- Управляемая структура: через специальный control code в промпте можно задать количество частей мелодии, число тактов в каждой и степень их схожести.
- Высокая скорость на CPU: модель весит всего 107 МБ (или 55 МБ в формате GGUF) и генерирует мелодию на ноутбуке за 0.1 секунды через llama.cpp.
- Три версии в репозитории: доступны финальный чекпоинт после GRPO, промежуточная версия после SFT и базовый претрейн, а также квантованный файл
abc-gpt-f16.gguf. - Проверка музыкальной грамотности: во время GRPO модель поощряли за корректный синтаксис ABC, соблюдение тактового размера и правильный порядок записи нот.
Что можно сделать
- Генерировать фолк-мелодии под заданный размер: создавать джиги (6/8), рилы (4/4) или слип-джиги (9/8) в нужной тональности и экспортировать их в MusicXML через music21.
- Встроить в локальный генератор музыки: запустить GGUF-версию через llama.cpp на обычном процессоре и подавать результат в веб-плеер вроде abcjs или программу EasyABC.
- Изучить полный пайплайн обучения: использовать открытый код проекта как готовый пример связки библиотек Hugging Face (
tokenizers,datatrove,transformers,trl,gradio).
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("matteospanio/abc-gpt")
model = AutoModelForCausalLM.from_pretrained("matteospanio/abc-gpt")
prompt = "%S:2 B:8 E:5 B:8\nX:1\nL:1/8\nM:6/8\nK:D\n"
inputs = tokenizer(prompt, return_tensors="pt")
out = model.generate(**inputs, do_sample=True, temperature=1.0, max_new_tokens=512)
print(prompt + tokenizer.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
Метрики (на 100 промптах): синтаксис ABC — 1.000, соблюдение размера такта — 0.948, точность числа секций — 90%, полное совпадение контрольного кода — 14%.Железо и скорость: на CPU Intel Core Ultra 5 226V (4 потока) выдаёт ~770 ток/с в llama.cpp и ~180 ток/с в transformers.
Ограничения: генерирует только одноголосные мелодии без названий и текстов; датасет IrishMAN предназначен только для исследовательских целей.










Комментарии