Lite-Oute-1-300M DoRA
компактный классификатор тональности твитов
2 мин чтенияобновлено
Это 0.3B text-generation модель на базе OuteAI/Lite-Oute-1-300M-Instruct. Её дообучили через самописную DoRA для k_proj и v_proj (r=8, alpha=16), чтобы на английском отвечать одним словом: negative, neutral или positive.
Ключевые особенности
- Кастомная DoRA для k_proj и v_proj: r=8, alpha=16, величина веса обучается отдельно.
- Дообучение на первых 10 000 примерах sentiment из tweet_eval: 3 эпохи, lr=5e-4, batch 16, seed 42, A100 80 ГБ.
- Macro F1 на полном test из 12 284 примеров вырос с 0.1674 до 0.5076; метрика учитывает четыре метки, включая пустой ответ.
- Компактный размер: 0.3B параметров, язык — английский.
- В примере после обучения ответ повторяется и обрезается на 16 новых токенах; оценка берёт первое название класса.
Пример
import torch
from load_model import load_model
model, tokenizer = load_model("ketimiroshnik/llm-course-hw3-dora", device="cuda")
messages = [{"role":"system","content":"Determine the overall sentiment of this tweet. Respond with one word: negative, neutral, or positive."},{"role":"user","content":'Text: "..."'}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
with torch.inference_mode(): output = model.generate(**inputs, max_new_tokens=16, do_sample=False)
print(tokenizer.decode(output[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))
Подробнее
Macro F1: 0.1674 до обучения → 0.5076 после на полном test из 12 284 примеров.Обучение: 10 000 примеров train, 3 эпохи, lr=5e-4, batch 16, seed 42, A100 80 ГБ.
Для запуска нужны load_model.py и custom_layers.py в одной папке; веса — в model.safetensors.
Ограничения: английский язык, повтор ответа и обрезка по лимиту 16 новых токенов.










Комментарии