KG-Punct-XLMR-News
пунктуация для кыргызского текста
1 min read
Это xlm-roberta-base, дообученная на задачу автоматического восстановления пунктуации (APR) для кыргызского языка. Модель обучена на 3 200 новостных документах и предсказывает для каждого слова, нужна ли после него запятая или конец предложения. Размер — около 0,28 млрд параметров, задача — token-classification.
Ключевые особенности
- Три метки:
S— без знака,C— запятая,P— конец предложения. - Работает с текстом без пунктуации; вход приводится к нижнему регистру, заглавные буквы не восстанавливаются.
- Длинные тексты разбиваются на перекрывающиеся окна по 126 субтокенов — как в бенчмарке.
- В репозитории есть готовый
punctuate.pyдля инференса. - Восстанавливает только запятые и концы предложений; вопросительные и восклицательные знаки не различает.
Пример
from transformers import AutoModelForTokenClassification, AutoTokenizer
from punctuate import restore
tokenizer = AutoTokenizer.from_pretrained("kadirseker/kg-punct-xlmr-news")
model = AutoModelForTokenClassification.from_pretrained("kadirseker/kg-punct-xlmr-news").eval()
print(restore(model, tokenizer, "бүгүн аба ырайы жылуу болот бирок кечинде жамгыр жаашы мүмкүн"))
Подробнее
Бенчмарк: macro-F1 86,44% на Kyrgyz News и 70,51% при переносе на Kyrgyz Wikipedia.Обучение: 3 эпохи, batch size 8, lr 3e-5, seed 42; выбрана эпоха 2 с validation macro-F1 86,88%.
Ограничения: только два письменных источника, один прогон обучения; запятые и концы предложений, без двоеточий, тире и кавычек.
Лицензия весов — CC-BY-NC-4.0, только некоммерческое использование; базовая модель — MIT.










Comments