Analysis and research of computer vision methods for object recognition in images

Abstract

This work describes a mobile application for bartenders that utilizes Computer vision techniques and neural networks to identify drink ingredients. This research seeks to develop a system that can present a selection of ingredient images, automatically recognize them, and output corresponding cocktail recommendations that can be made with these ingredients. It creates platform independent application using react native and use TensorFlow Lite for local image processing. It utilizes YOLOv8 model architecture and multiple specialized datasets to train the model for accuracy in recognizing objects. It describes the steps of data preparation and the model training and tuning, so well explained the interface and server side implementation here It includes features for saving and filtering recipes, offline operation and cloud integration. Test results indicate that the system has an overall accuracy of 92% with precision and completeness at 90% and 88% respectively while in play in diverse environments with consistent and repeatable results. On mid-range mobile devices, the optimized model offers an image processing time of <1 s per image. As part of this work a prototype application has been developed to provide an interface for a user to upload an image and to search for a recipe. The system could be further developed and introduced to other fields, like medicine and logistics. This is a mobile application that uses computer vision and neural networks to identify cocktail recipes from pictures taken by the user of the app.

Această lucrare descrie o aplicație mobilă pentru barmani care utilizează tehnici de viziune computerizată și rețele neuronale pentru a identifica ingredientele băuturilor. Această cercetare urmărește să dezvolte un sistem care poate prezenta o selecție de imagini ale ingredientelor, să le recunoască automat și să producă recomandări de cocktailuri corespunzătoare care pot fi făcute cu aceste ingrediente. Aceasta creează o aplicație independentă de platformă folosind react native și utilizează TensorFlow Lite pentru prelucrarea locală a imaginilor. Aceasta utilizează arhitectura modelului YOLOv8 și mai multe seturi de date specializate pentru a antrena modelul în vederea preciziei în recunoașterea obiectelor. Acesta descrie etapele de pregătire a datelor și formarea și reglarea modelului, atât de bine a explicat interfața și implementarea serverului aici Acesta include caracteristici pentru salvarea și filtrarea rețetelor, funcționarea offline și integrarea în cloud. Rezultatele testelor indică faptul că sistemul are o acuratețe generală de 92%, cu o precizie și o completitudine de 90% și, respectiv, 88% în timp ce este în joc în medii diverse, cu rezultate consecvente și repetabile. Pe dispozitivele mobile mid-range, modelul optimizat oferă un timp de procesare a imaginilor de <1 s per imagine. Ca parte a acestei lucrări, a fost dezvoltată o aplicație prototip pentru a oferi o interfață pentru ca un utilizator să încarce o imagine și să caute o rețetă. Sistemul ar putea fi dezvoltat în continuare și introdus în alte domenii, cum ar fi medicina și logistica. Aceasta este o aplicație mobilă care utilizează viziunea computerizată și rețele neuronale pentru a identifica rețete de cocktailuri din fotografii făcute de utilizatorul aplicației.