CKTN-ELECTRA
RemBERT для языков Вьетнама
1 мин чтенияобновлено
CKTN-ELECTRA — текстовый энкодер от nhatkhangdtp для трёх языков меньшинств Вьетнама: Cham, Khmer и Tay-Nung. Это дискриминатор после continued pre-training на корпусе CKTN со script-aware calibrated replaced-token detection; стандартный RemBertModel без task head. Около 0,58 млрд параметров, 32 слоя, hidden size 1152.
Ключевые особенности
- Архитектура RemBERT: 32 слоя, hidden size 1152, 18 голов, 256-d input embeddings.
- Словарь на 254 513 SentencePiece-токенов: 250 300 из RemBERT плюс 4 213 CKTN.
- Выход —
last_hidden_stateразмерности 1152; максимальная длина последовательности 512. - Дообучен на CKTN corpus: 35 492 документа (Cham 9 184, Khmer 22 246, Tay-Nung 4 062).
- Замены токенов калиброваны с учётом письменности; RTD-голова и генератор в релиз не входят.
- Можно дообучать весь энкодер под downstream-задачи.
Пример
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("nhatkhangdtp/CKTN-ELECTRA", use_fast=False)
model = AutoModel.from_pretrained("nhatkhangdtp/CKTN-ELECTRA")
inputs = tokenizer("Noọng pỉ hẩu chương trình dân tộc", return_tensors="pt", truncation=True, max_length=512)
hidden = model(**inputs).last_hidden_state # (1, seq_len, 1152)
Подробнее
RTD F1 0.870, accuracy 0.967; classification accuracy 0.9214, macro-F1 0.7103.Retrieval MRR@10 0.7718, R@10 0.9039 — но retrieval в основном по лексическому пересечению.
Ограничения: формальный новостной регистр, мало данных Tay-Nung, аудит на социальные bias не проводился.
Обучение: AdamW, lr 2e-5, 15% masking, batch size 8; веса из эпохи 4.










Комментарии