feng-30m-zh-tw
Traditional Chinese без файнтюна
2 мин чтения
feng-30m-zh-tw — нативный вариант Traditional Chinese (zh-TW) для feng-30m, китайской chat-LLM на 29.4M параметров в стиле Qwen3. Родитель — упрощённая zh-CN-модель; этот вариант читает и пишет традиционными иероглифами. Это не файнтюн и не адаптер: детерминированная правка весов меняет только model.embed_tokens.weight, остальные тензоры бит-в-бит совпадают с родителем.
Ключевые особенности
- 29.43M параметров, словарь 16384; архитектура Qwen3-style, язык — zh-TW.
- Изменён 1 тензор из 123 —
model.embed_tokens.weight; отредактировано 6945 строк из 16384. - Без обучения: ни градиентов, ни GPU, ни LoRA/адаптеров; размер, shapes и dtypes не меняются.
- В аудите 0 Simplified-only глифов на 100 Han-символов против 19.75 у родителя; 0/16 промптов с утечкой против 11/16.
- Средний CE на шести held-out zh-TW доменах: 5.298 против 5.508 (−3.8%); perplexity ниже на всех семи доменах.
- TMMLU+ после дебиасинга — 23.4%, на уровне случайного выбора: правка весов не добавляет знаний.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
m = "Luigi/feng-30m-zh-tw"
tok = AutoTokenizer.from_pretrained(m)
net = AutoModelForCausalLM.from_pretrained(m, trust_remote_code=True, dtype="float16").eval()
ids = tok("請介紹故宮的歷史。", return_tensors="pt")["input_ids"]
out = net.generate(ids, max_new_tokens=64, do_sample=False)[0]
print(tok.decode(out[ids.shape[1]:], skip_special_tokens=True))
Подробнее
Средний CE на шести zh-TW доменах: 5.298 против 5.508 у родителя (−3.8%).Purity: 0 Simplified-only глифов на 100 иероглифов против 19.75 у родителя; 0/16 промптов с утечкой против 11/16.
TMMLU+ после дебиасинга: 23.4% — на уровне случайного выбора; знания экзаменов не добавлены.
29M параметров: генерация повторяющаяся и часто бессвязная; лимиты качества унаследованы.
Токенизатор без chat template — подавайте обычные строки, рекомендуется greedy.










Комментарии