convnext-tiny-comida-brasileira
классификатор ингредиентов бразильской кухни
2 min readupdated
Компактная модель для классификации изображений, которая по обрезанному кадру определяет один из 20 популярных продуктов повседневного бразильского рациона (рис, фасоль, говядина, жареный картофель, фарофа, маниока, салаты и др.). Она представляет собой файнтюн (дообучение) лёгкой свёрточной архитектуры facebook/convnext-tiny-224 на 30 млн параметров от автора aitalo. В отличие от базового чекпоинта, эта версия настроена на конкретные блюда и дополнена порогом уверенности в файле limiar.json для отбраковки спорных предсказаний. Модель создана как пет-проект для портфолио, но отлично подойдёт для экспериментов с распознаванием еды и пайплайнами с детекцией объектов.
Ключевые особенности
- Распознаёт 20 базовых классов еды, достигая точности 94,7% и F1 macro 93,7% на тестовой выборке.
- Очень лёгкий вес (0,03B параметров) и разрешение входа 224x224 позволяют запускать инференс быстро даже на слабом железе.
- В комплекте идёт откалиброванный порог уверенности (
0,265), отсеивающий неуверенные ответы. - На 17,2 процентного пункта точнее линейного классификатора поверх замороженной базы (94,7% против 77,9%).
Что можно сделать
- Использовать как второй этап в связке с моделью сегментации или детекции, чтобы сначала вырезать отдельные ингредиенты с тарелки, а затем распознавать каждый кусок.
- Взять готовый пайплайн с файлом
limiar.jsonкак шаблон для реализации механизма отклонения по низкой уверенности (low-confidence rejection) в своих проектах наtransformers.
Пример
from transformers import pipeline
clf = pipeline("image-classification", model="aitalo/convnext-tiny-comida-brasileira")
clf("recorte_do_alimento.jpg", top_k=3)Подробнее
Метрики на тесте (131 пример): Accuracy — 94,7%, F1 macro — 93,7%, Top-3 Accuracy — 99,2%.Обучение: 653 кропа из датасета Brazilian food images (Mendeley Data), 14 эпох на Tesla T4 (fp16) за 1,1 минуты.
Ограничения: работает только с плотно обрезанными кадрами одного продукта на чёрном фоне; на обычных фото со столом и приборами не тестировалась, не предназначена для продакшена.
Лицензия весов: Apache-2.0.










Comments