Abkhaz POS XLM-R
POS-теггер для абхазского языка
1 min read
Модель от Grundik — файнтюн xlm-roberta-base (270M параметров) для token classification. Размечает части речи по Universal POS tags для абхазского (ab), низкоресурсного полисинтетического языка.
Ключевые особенности
- Обучена на treebank
UD_Abkhaz-AbNCиз Abkhaz National Corpus. - Поддерживает полный абхазский кириллический алфавит, включая
ә, ҧ, ҳ, қ, ҭ, ҽ, ҿ, ӡ, џ, ҕ, ӷ, ҟ, ҵ, ҩ, ҷ, ԥ. - Максимальная длина последовательности — 512 токенов.
- Метки — Universal POS; обучение: 10 эпох, batch size 8, learning rate 2e-5.
- Ограничение: мало данных (~13.5k токенов), на редких формах качество может падать.
Пример
from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch
model_id = "Grundik/abkhaz-pos-xlmr"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(model_id)
# далее: tokenizer(text, return_tensors="pt"), argmax(logits) и вывод меток
Подробнее
Token accuracy на dev: 91.66%.Обучение: 1 236 предложений (~13 500 токенов), 154 предложения в eval, NVIDIA RTX 5060 Ti (16 GB).
База:
xlm-roberta-base, 270M параметров; лицензия MIT.Ограничения: небольшой датасет, возможны ошибки на редких словоформах.










Comments