XLM-RoBERTa для персидского QA
F1 89.75 на валидации
2 мин чтения
Файнтюн FacebookAI/xlm-roberta-large (0.56B параметров) под задачу question-answering: модель извлекает ответ на вопрос из персидского текста. Автор — Z-Jafari, обучение шло 3 эпохи, а рядом в репозитории лежат варианты val-60, val-100 и val-200.
Ключевые особенности
- На eval-сете: exact_match 87.5 и F1 89.75, loss 0.7657.
- База — многоязычная
xlm-roberta-large, дообученная под извлечение спанов-ответов. - Гиперпараметры указаны честно: lr 2e-5, batch 16, 3 эпохи, linear scheduler, AdamW fused, mixed precision (Native AMP).
- Есть родственные чекпойнты с другим размером валидации — можно сравнить стабильность метрик.
- Training loss падал с 0.78 до 0.32, а вот validation loss после второй эпохи вырос — признак переобучения.
Пример
Сценарий из карточки по сути один: подаёте персидский контекст и вопрос, на выходе — фрагмент контекста с ответом. Например, текст статьи и вопрос «когда основан университет?» — модель возвращает соответствующий спан и его позиции в тексте. Карточка не содержит кода запуска, поэтому готовый сниппет придётся собрать самому через pipeline("question-answering") из transformers.
Подробнее
Метрики: exact_match 87.5, F1 89.75, eval loss 0.7657.Обучение: 3 эпохи, lr 2e-5, batch 16, seed 42, Transformers 5.22.1 / PyTorch 2.14.1.
Ограничения: датасет в карточке назван «unknown», разделы про intended uses и данные пустые — происхождение разметки и язык (судя по имени репозитория, персидский) не подтверждены.
Требования к VRAM не указаны; ориентируйтесь на ~0.56B параметров базовой модели.










Комментарии