latxa-8b-gec-lora-v2

LoRA-адаптер для HiTZ/Latxa-Llama-3.1-8B-Instruct, который превращает модель в корректора грамматических ошибок в баскском тексте. Также выступает учителем для itzune/gector-eus-v5 и разметки датасета itzune/wiki-gec-distill-eu. Адаптер содержит около 42M обучаемых параметров, файл весит 177 MB.

🎯 Ключевые особенности

• 🎯 Исправляет баскский текст минимальными правками, опираясь на нормы EBE.
• 🧩 LoRA/PEFT: r=16, alpha=32, dropout=0.05; целевые модули — q/k/v/o и gate/up/down projections.
• ⚙ Две роли: массовая разметка корпуса и фильтрация/реранкинг человеческих правок.
• 📀 Обучение: 1 эпоха, 4 318 шагов, batch 16, до 384 subwords; 69 076 примеров.
• 🔎 Для хорошей точности нужен copy-vs-edit margin, а не обычная генерация.

💡 Пример

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = 'HiTZ/Latxa-Llama-3.1-8B-Instruct'
model = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.bfloat16, device_map='cuda'),
    'itzune/latxa-8b-gec-lora-v2')
tok = AutoTokenizer.from_pretrained(base)

Подробнее

На реальных правках Wikipedia: F0.5 58.2, exact 28.1% при margin −1.
Синтетический blind slice: F0.5 79.5 при margin −1.
Нужно около 16 GB GPU в bf16; без margin-правила модель правит и чистый текст.
Это teacher, а не эталон; оценка на небольшом наборе из 171 предложения.