MovieSentimentLM

Это 4-битный QLoRA-адаптер для HuggingFaceTB/SmolLM3-3B, дообученный классифицировать отзывы о фильмах как positive или negative на датасете Rotten Tomatoes. Метод — QLoRA с рангом 8 и alpha 16, максимальная длина — 192 токена.

👀 Ключевые особенности

• 💪 Fine-tuned validation accuracy — 93.62%, held-out test accuracy и Macro F1 — 92.21%.
• 👀 Zero-shot baseline — 87.43% accuracy; адаптер заметно точнее на валидации.
• 🤫 Prompt/completion-формат с assistant-only loss; модель отвечает одним словом positive или negative.
• 😐 Бинарная классификация тональности, максимальная длина — 192 токена.
• 🐾 База — SmolLM3-3B, библиотека PEFT, adapter rank 8, alpha 16, 4-битная квантизация через bitsandbytes.

👉 Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch
base = 'HuggingFaceTB/SmolLM3-3B'
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.float16, device_map='auto')
model = PeftModel.from_pretrained(model, 'Marwanpng/MovieSentimentLM')
prompt = tok.apply_chat_template([{'role':'user','content':'Classify sentiment: The acting was fantastic.'}], tokenize=False, add_generation_prompt=True, enable_thinking=False)

Подробнее

Валидация: 93.62% accuracy; held-out test: 92.21% accuracy и Macro F1.
Zero-shot baseline: 87.43% accuracy.
Ограничения: бинарная классификация, max length 192 токена.
Детали: Rotten Tomatoes, assistant-only loss, rank 8, alpha 16.