language_identification_model

Это файнтюн FacebookAI/xlm-roberta-base для мультиязычной идентификации языка. Модель определяет язык текста среди 20 языков и содержит около 0.28 млрд параметров.

🔥 Ключевые особенности

• 🌎 Поддерживает 20 языков и работает с текстовым входом.
• 💻 Построена на базе XLM-RoBERTa и библиотеки Transformers.
• 📚 Обучена на датасете papluca/language-identification: 90 тыс. примеров, из них 70 тыс. для обучения.
• 🔥 На evaluation set: loss 0.0297 и accuracy 0.9955.
• ❌ Может ошибаться на очень коротких текстах, смешанных языках и опечатках.

💻 Пример

Сценарий: сервис получает текст и определяет его язык, чтобы направить обращение в нужную языковую очередь. На выходе — метка одного из 20 языков; на коротких и смешанных фразах прогноз может быть менее надёжным.

Подробнее

Accuracy на evaluation set — 0.9955, loss — 0.0297.
Обучение: 2 эпохи, learning rate 2e-05, batch size 16.
Датасет: 70 тыс. примеров для обучения, по 10 тыс. для валидации и теста.
Ограничения: короткий текст, смешение языков и орфографические ошибки снижают надёжность.