Qwen3-4B WordNet EN↔JA LoRA

Экспериментальный LoRA-адаптер от uesenpai для Qwen3-4B-Instruct-2507. Обучен на Japanese WordNet 1.1 и Open English WordNet 2025 для английско-японских лексических альтернатив и словарных определений. Это адаптер для лексики, а не подтверждённая модель перевода предложений.

⚙ Ключевые особенности

• 🧩 База — Qwen3-4B-Instruct-2507; LoRA с rank 8 и alpha 16, 16 515 072 обучаемых параметров.
• 🧬 4096 train rows, по 256 validation и test rows; задачи — same-synset lexical alternatives и dictionary definitions.
• 🧊 NF4 QLoRA с BF16 compute: база заморожена, adapter не merged, веса базовой модели не включены.
• 🔬 Validation loss снизился с 5.2263 до 1.9733, но это lexical validation loss, а не accuracy перевода предложений.
• 🩻 В карточке прямо указано: sentence translation accuracy = null, improvement not demonstrated.
• 🛑 General quality preservation не установлено; отмечены повторы альтернатив до лимита 96 токенов и остаточные расхождения по редким словам.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

model_id = "Qwen/Qwen3-4B-Instruct-2507"
adapter_path = "uesenpai/qwen3-4b-wordnet-en-ja-lora-v1_fiXmArge"
tok = AutoTokenizer.from_pretrained(model_id)
base = AutoModelForCausalLM.from_pretrained(model_id)
model = PeftModel.from_pretrained(base, adapter_path)

Подробнее

🔎 Подробнее
Обучение: 256 optimizer steps, effective batch 16, lr 2e-5, checkpoint-256.
Loss: 5.2263 → 1.9733 на lexical validation; sentence translation accuracy не указана.
Ограничения: general quality preservation не установлено, есть regression cases и повторы альтернатив до 96 токенов.
Лицензия Apache-2.0; у данных WordNet отдельные условия.