ingredient-list-ner
определение состава продуктов в сыром OCR-тексте
2 мин чтенияобновлено
Эта модель решает задачу token-classification (пословной классификации) и создана для поиска перечня ингредиентов в тексте, распознанном с упаковки пищевых продуктов с помощью OCR (оптического распознавания символов). Оснокой послужила базовая модель distilbert-base-multilingual-cased (мультиязычный компактный трансформер), а обучение проводилось на данных проекта Open Food Facts. Каждому слову текста присваивается метка: относится оно к списку ингредиентов или нет. Инструмент пригодится разработчикам приложений для анализа состава продуктов и выявления аллергенов.
Ключевые особенности
- Базируется на мультиязычной модели distilbert-base-multilingual-cased размером 0.13 млрд параметров
- Обучена на датасете Open Food Facts, содержащем размеченные тексты с упаковок товаров
- Выполняет пословную классификацию текста, разделяя его на части состава и посторонние элементы
- Показывает высокую точность на тестовой выборке с метрикой F1 на уровне 0.9894
Что можно сделать
- Применить модель в пайплайне обработки текста с упаковок продуктов питания
- Автоматически извлекать списки ингредиентов из сырых результатов OCR-распознавания
- Интегрировать классификатор в мобильные или веб-сервисы для проверки состава и аллергенов
Пример
Модель работает с отдельными словами (знаки препинания отделяются) и классифицирует отрезки длиной до 100 слов. Разметку токенов можно использовать через Python-библиотеку transformers, подавая на вход нарезанные фрагменты текста с упаковки.
Подробнее
Метрики на 556 тестовых документах: Precision 0.9887, Recall 0.9901, F1 0.9894, Accuracy 0.9919.Обучение: 2 эпохи, learning rate 5e-5, batch size 16, на CPU за 77.1 минут.
Ограничения: оценки даются на уровне отдельных слов, точность падает при сильном шуме в OCR или обрезанном тексте, а предупреждения об аллергенах обрабатываются отдельно.










Комментарии