III-BERT-EN
компактная MLM-модель для английского
1 min readupdated
III-BERT-EN от KordAI — кастомный Transformer-энкодер примерно на 32M параметров, обученный на английском с целью masked language modeling. Это базовый чекпоинт для дальнейшего файнтюна, а не готовый классификатор или NER-система.
Ключевые особенности
- Около 32M параметров — очень компактный вариант для English NLP.
- MLM-предобучение: маскирование 15% токенов, максимальная длина 512.
- Токенизатор взят у FacebookAI/roberta-base, а не обучен с нуля.
- Данные: English Wikipedia (20231101.en) и C4 (en), примерно 30% / 70%.
- Подходит как старт для классификации текста, POS-теггинга и NER после файнтюна.
- В репозитории кастомный код; нужен trust_remote_code=True и проверка кода.
Пример
from transformers import AutoTokenizer, AutoModelForMaskedLM
model_id = 'KordAI/III-BERT-EN'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)
text = f'Budapest is the capital of {tok.mask_token}.'
inputs = tok(text, return_tensors='pt', truncation=True, max_length=512)
print(model(**inputs).logits.shape)
Подробнее
Бенчмарки и оценка базового чекпоинта в карточке не приводятся.Требования к VRAM и железу не указаны; запуск зависит от окружения.
Лицензия не указана — проверьте условия модели и данных перед распространением или коммерческим использованием.
В разделе обучения для числа параметров остался placeholder [N]M; архитектура и реализация кастомные.










Comments