Gemma 4 E4B NLI 10k

Это LoRA-адаптер от joestacey для three-way natural language inference на базе google/gemma-4-E4B-it. Обучен на 10 000 примерах; в FEVER evidence используется как premise, а claim — как hypothesis. Метки: entailment, neutral и contradiction.

⚙ Ключевые особенности

• 🔍 Три класса NLI: entailment, neutral, contradiction.
• 🧨 QLoRA: 4-bit NF4, double quantization, bfloat16; LoRA rank 16, alpha 32, dropout 0.05.
• 📊 Скоринг нормализует логиты первых токенов трёх меток и возвращает вероятности в порядке entailment, neutral, contradiction.
• ⚠ Это не полные likelihood последовательностей, а нормировка по первым токенам меток.
• 📌 Адаптер и tokenizer включены; базовые веса загружаются отдельно на ревизии из adapter_config.json.

💻 Пример

python run_scores.py --artifacts_dir /path/to/artifacts --model llama --dataset sciq --setting ID --correctness_function gemma --correctness_model joestacey/gemma4-e4b-nli-10k

Подробнее

Финальных метрик нет: оценка адаптера на held-out NLI ещё идёт.
Обучение: 1 эпоха, batch size 8, AdamW, lr 1e-4, linear warmup 5%, cap 256 токенов.
QLoRA: 4-bit NF4, double quantization, bfloat16; LoRA rank 16, alpha 32, dropout 0.05.
Скоринг — по первым токенам меток, не по полной последовательности.