ModernBERT-LSM

Энкодерная языковая модель от SzegedAI, использованная в статье «No Masking Needed: Predicting Latent Semantics for Efficient Pre-training of Encoder-based Language Models». В репозитории лежит финальная модель и промежуточные чекпоинты после 10k, 25k и 50k обновлений из 100k.

🔥 Ключевые особенности

• 🦾 Подход LSM/MLSM предсказывает латентную семантику вместо работы только со словарным пространством.
• ⬇ Доступны чекпоинты 10000, 25000, 50000 и 100000 — при загрузке нужно указать subfolder.
• ✅ Для AutoModelForMaskedLM у MLSM/LSM требуется ignore_mismatched_sizes=True.
• 🤝 Для других типов моделей, например AutoModelForSequenceClassification, особых действий не нужно.

✅ Пример

from transformers import AutoModelForMaskedLM, AutoModelForSequenceClassification, AutoTokenizer

model_name = 'SzegedAI/ModernBERT-LSM'
tokenizer = AutoTokenizer.from_pretrained(model_name)
clf = AutoModelForSequenceClassification.from_pretrained(model_name, subfolder='25000', num_labels=2)
mlm = AutoModelForMaskedLM.from_pretrained(model_name, subfolder='25000', ignore_mismatched_sizes=True)

Подробнее

Финальная модель обучена за 100k обновлений; промежуточные чекпоинты — 10k, 25k и 50k.
Для MLSM/LSM выходное пространство не является словарным, поэтому нужен флаг ignore_mismatched_sizes=True.
Для AutoModelForSequenceClassification и других типов моделей специальная настройка не требуется.
Бенчмарков и требований к VRAM в карточке нет.