Clasificador de intención de reportes ciudadanos (DMQ)
BETO отличает просьбу от жалобы
1 мин чтения
Это испанский BETO (bert-base-spanish-wwm-uncased, около 0,11 млрд параметров), дообученный определять, что именно просит автор citizen report из Survey123: queja, denuncia, solicitud, consulta, sugerencia или agradecimiento. Автор — Oldrin Santiago Bonilla (магистратура по Ciencia de Datos, USFQ). Модель также распространяется как пакет deep learning для ArcGIS .dlpk.
Ключевые особенности
- Различает шесть интентов, а не только тональность: жалоба и denuncia могут быть одинаково негативными, но требуют разных действий.
- Обучена на отчётах Survey123 Distrito Metropolitano de Quito; словарь и примеры привязаны к Кито.
- Для ArcGIS Pro 3.x с лицензией Advanced и deep learning libraries: на выходе поля
Intencionиconfianza. - В Python запускается через стандартный
transformerspipeline. - На синтетическом тесте F1 0,997, на человеческом — 0,77; около 1,9 мс на текст.
Пример
from transformers import pipeline
clf = pipeline("text-classification", model="osbonilla/clasificador-intencion-dmq")
clf("Denuncio que botan escombros en la quebrada")
# [{'label': 'denuncia', 'score': 0.98}]
Подробнее
Обучение: 1 788 синтетических текстов, сгенерированных по шаблонам.На человеческой тестовой выборке F1 — 0,77; сложнее всего
denuncia: без слова «denuncio» модель часто путает её с queja.Для ArcGIS Pro нужны версия 3.x, лицензия Advanced и deep learning libraries.
Перед применением в другом городе модель стоит проверить на вручную размеченной выборке.










Комментарии