lora-roberta-base-glue
адаптеры LoRA для RoBERTa-base на задачах GLUE
2 мин чтенияобновлено
Набор весов и код для воспроизведения обучения LoRA (небольшой надстройки над базовой моделью для эффективного дообучения) на пяти задачах бенчмарка GLUE (SST-2, MRPC, CoLA, RTE, STS-B). Модель создана на базе замороженной roberta-base (FacebookAI/roberta-base) с рангом r = 8 и alpha = 8. Адаптеры затрагивают проекции query и value во всех 12 слоях внимания, а также обученную классификационную голову. Репозиторий полезен исследователям и разработчикам, изучающим практическое применение LoRA на классических языковых моделях.
Ключевые особенности
- Пять готовых наборов весов для задач SST-2, MRPC, CoLA, RTE и STS-B.
- Реализация LoRA с нуля поверх замороженной модели
roberta-base. - В каждый адаптер входит обученная классификационная голова.
- Наличие подробных результатов по 5 сидам (seeds) для каждой задачи.
Что можно сделать
- Запустить оценку качества готовых адаптеров на валидационных сплитах GLUE.
- Использовать код репозитория для собственных экспериментов с LoRA-адаптациями.
- Изучить влияние отсутствия предварительного этапа MNLI на качество адаптеров (например, на задаче RTE).
Пример
import json
import torch
from huggingface_hub import snapshot_download
from safetensors.torch import load_file
from transformers import AutoModelForSequenceClassification, AutoTokenizer
task = "rte"
root = snapshot_download("Bartu0nder/lora-roberta-base-glue")
cfg = json.load(open(f"{root}/{task}/config.json"))
tok = AutoTokenizer.from_pretrained(cfg["base_model"])
model = AutoModelForSequenceClassification.from_pretrained(
cfg["base_model"], num_labels=cfg["num_labels"], attn_implementation="sdpa")
state = load_file(f"{root}/{task}/adapter.safetensors")
print(f"Loaded adapter for {task} successfully")
Подробнее
Метрики на валидации (медиана по 5 сидам): SST-2 (Accuracy) — 94.8, MRPC (Accuracy) — 89.2, CoLA (Matthews corr.) — 63.1, RTE (Accuracy) — 78.7, STS-B (Pearson corr.) — 91.0.Параметры: 294,912 обучаемых параметров LoRA и 592,130 параметров классификационной головы.
Ограничения: адаптеры для MRPC, RTE и STS-B обучались напрямую из
roberta-base без промежуточного шага MNLI, что объясняет отклонения на RTE.Лицензия: MIT.










Комментарии