naxi-qwen3.5-4b-v6
компактный переводчик для наси
2 мин чтенияобновлено
Это файнтюн Qwen3.5-4B-Base (~4,84 млрд параметров) для перевода между наси, китайским и английским. Наси — сино-тибетский язык региона Лицзян (Юньнань, Китай), около 300 тыс. носителей; карточка отмечает, что у него почти нет цифровой инфраструктуры и MT-сервисов. Модель выпущена как наследник naxi-qwen3-14b-v5, но на другой базе и с объединёнными полными весами.
Ключевые особенности
- Словарь расширен на 633 токена слогов наси: 248 044 → 248 670; embeddings и lm_head обучались.
- Вместо 14B у v5 здесь ~4,8B параметров — примерно в 3 раза меньше вычислений на токен.
- LoRA r=256, alpha=512, dropout 0.05, RS-LoRA; затем веса трёх seed-запусков усреднены в один набор.
- Оценка на замороженном gate из 446 строк: chrF++ и NTQS, с кластерным bootstrap CI; per-row predictions приложены.
- Архитектура Qwen3.5: 32 слоя, чередование linear-attention и full-attention, hidden size 2560.
Пример
Сценарий: подать бытовую фразу на китайском или английском и запросить перевод на наси; поддерживаются и обратные направления. В карточке отдельно указано, что на страте rag_eligible (n=21) модель немного уступает production-версии, а на everyday и grammar_lit — чуть впереди.
Подробнее
chrF++: v6 vs v5 +19,91 на строку, 95% CI [+16,87; +23,01], 356W/71L.Против production nxkd1-K: +0,80 chrF++, CI [−0,67; +2,25] — разница не значима.
NTQS: v6 vs v5 +12,32, CI [+10,58; +14,08]; против production +0,35 — inconclusive.
Обучение: 50 042 строки, 3 эпохи, seq length 1280, bf16, AdamW 8-bit. VRAM в карточке не указан.










Комментарии