Solutions to improve cognitive assistance for people with mental disabilities based on neural networks

Abstract

The research involves the use of a neural network doodle and gesture recognition with emotional state detection to assist mentally disabled people. It involves the designing of the use of convolutional neural networks in an image-based input that will help in interpreting doodles being drawn by the user and recognizing hand gestures. This is further integrated with a recurrent neural network that includes long short-term memory units for the analysis of temporal data associated with gestures and emotional expressions. This emotional state detection uses facial expression and gesture pattern recognition to fetch the emotional state, which, after processing in real time, sends the intake to either a caregiver or parents via a mobile application showing the state of the individual's emotions. The proposed system architecture includes a pre-trained CNN model with custom-trained layers integrated for fine tuning on specific emotions relevant for the target population. Preliminary results taken from already-existing neural network results give a high accuracy in doodle recognition at 92% precision, while for gesture recognition, an accuracy rate of 98.44% was given. The emotional state detection feature can classify happiness, sadness, and distress. It is an integrated system whereby the capability of communication is assisted both by doodle and gesture recognition, adding emotional monitoring. Such a system would be very complete in order to improve life quality for mentally disabled people and their caregivers. The study concludes by discussing how this system has the potential for real-world deployment and further development to include a wider range of emotions and more sophisticated gestures. In the future, the work will focus on making this model much more robust with larger training datasets and real-time processing optimizations.

Cercetarea implică utilizarea unei rețele neuronale pentru recunoașterea schițelor și a gesturilor, împreună cu detectarea stării emoționale, pentru a ajuta persoanele cu dizabilități mintale. Aceasta implică proiectarea și utilizarea rețelelor neuronale convolutionale într-o intrare bazată pe imagini. Sistemul folosește două modele CNN, unul specializat pentru recunoașterea schițelor și unul pentru recunoașterea gesturilor. Modelul pentru gesturi este antrenat pe un set de date de gesturi din limbajul semnelor, dar poate

fi ușor antrenat și pentru alte tipuri de gesturi. Aceste modele sunt integrate cu o rețea neuronală recurentă care include unități de memorie pe termen lung pentru analiza datelor temporale asociate cu gesturi și expresii emoționale. Detectarea stării emoționale folosește expresii faciale și recunoașterea modelelor de gesturi pentru a obține starea emoțională, care, după procesarea în timp real, trimite informațiile fie unui îngrijitor, fie părinților printr-o aplicație mobilă care arată starea individului. Arhitectura de sistem propusă include un model CNN pre antrenat, cu straturi personalizate integrate pentru reglarea fină a emoțiilor specifice relevante pentru populația țintă, oferind precizie. Pentru recunoașterea gesturilor, s-a obținut o rată de acuratețe de 98,44%. Funcția de detectare a stării emoționale poate clasifica fericirea, tristețea și suferința. Este un sistem integrat prin care capacitatea de comunicare este asistată atât de recunoașterea schițelor, cât și de recunoașterea gesturilor, completate de monitorizarea emoțională. Un astfel de sistem ar fi foarte util pentru a îmbunătăți calitatea vieții persoanelor cu dizabilități mintale și a îngrijitorilor acestora. Studiul se încheie discutând despre modul în care acest sistem are potențialul de implementare în lumea reală și de dezvoltare ulterioară pentru a include o gamă mai largă de emoții și gesturi mai sofisticate. În viitor, se propune să se concentreze pe crearea unui model mult mai robust, cu seturi de date de antrenament mai mari și optimizări de procesare în timp real.