Ettin 400M SQuAD v2

much1na/ettin-400m-squadv2 — файнтюн энкодера jhu-clsp/ettin-encoder-400m на 400M параметров для extractive question answering. По вопросу и фрагменту текста модель выделяет span, в котором содержится ответ. Обучение шло на train-сплите SQuAD 2.0 (130 319 вопросов), оценка — на validation (11 873 вопроса).

🐱 Ключевые особенности

• 🐱 Основа — Ettin Encoder 400M, задача — извлечение ответа из passages.
• 🔥 Обучение на SQuAD 2.0 train: 130 319 вопросов.
• 💪 На validation: Exact match 86.63, F1 90.01.
• 👀 В transformers 5 pipeline question-answering недоступен — нужен AutoModelForQuestionAnswering.
• 🐾 Параметры обучения: max_seq_len 384, doc_stride 128, fp16, 2 эпохи.

👉 Пример

from transformers import AutoModelForQuestionAnswering, AutoTokenizer
tok = AutoTokenizer.from_pretrained('much1na/ettin-400m-squadv2')
model = AutoModelForQuestionAnswering.from_pretrained('much1na/ettin-400m-squadv2')
q = 'Who designed the Eiffel Tower?'
c = 'The Eiffel Tower was built by the company of Gustave Eiffel.'
enc = tok(q, c, return_tensors='pt', truncation='only_second', max_length=384)
out = model(**enc)
print(out.start_logits.argmax(), out.end_logits.argmax())

Подробнее

SQuAD 2.0 validation: Exact match 86.63, F1 90.01, training loss 0.5903.
Обучение: 2 эпохи, learning rate 5e-05, batch size 32, max_seq_len 384, fp16.
В transformers 5 pipeline question-answering недоступен — используйте AutoModelForQuestionAnswering.