Языковые моделиD0zy
essay-model-merged
IELTS-экзаменатор на базе LFM3-1.7B
2 мин чтенияобновлено
Это LoRA-файнтюн LiquidAI/LFM3-1.7B от D0zy на ~1,73 млрд параметров. Модель принимает вопрос задания и эссе IELTS Writing Task 2, а возвращает общий band score и комментарии по четырём критериям.
🧐 Ключевые особенности
- 📝 Специализация — проверка IELTS Writing Task 2: общий band и фидбек по Task Response, Coherence & Cohesion, Lexical Resource, Grammatical Range & Accuracy.
- 📚 Обучена на ~7 000 примерах из датасета chillies/IELTS-writing-task-2-evaluation; максимум 2048 токенов, loss считался только по части с оценкой.
- 🔥 LoRA: r=16, alpha=32, dropout=0.05, все linear-слои; 1 эпоха, lr 2e-4, cosine schedule, effective batch size 8.
- 💯 Финальный validation loss — около 0.418.
- ⛔ Оценки — модельные оценки, выученные на community-датасете, а не официальный результат IELTS.
📝 Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('D0zy/essay-model-merged', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained('D0zy/essay-model-merged', trust_remote_code=True, device_map='auto', dtype=torch.bfloat16)
msgs = [{'role': 'system', 'content': 'You are a certified IELTS examiner. Evaluate the IELTS Writing Task 2 essay.'}, {'role': 'user', 'content': 'Question:\n<task question>\n\nEssay:\n<essay>'}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors='pt').to(model.device)
out = model.generate(ids, max_new_tokens=700, do_sample=False, repetition_penalty=1.05)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))Подробнее
Финальный validation loss — ~0.418.Обучение: ~7 000 примеров, max 2048 токенов, 1 эпоха.
Требования к VRAM в карточке не указаны.
Лицензия LFM Open License v1.0: коммерческое использование разрешено только при выручке ниже порога USD 10M; модель не связана с Liquid AI.
Комментарии