Crearea unei aplicații educaționale în baza unui model de simulare a crimelor

Abstract

This paper focuses on the creation of an educational game with a realistic simulation of acts of pickpocketing in public transports, based on intelligent agents at its core. Research on impact of games in education, as well as subjects like building the initial blocks of a game, setting up a training environment for intelligent agents in Unity, and using machine learning techniques to train them are described in great detail in this paper. Tasks like configuring an agent's field of vision, observations and actions, building state machines and setting up navigation are discussed in the implementation chapter. Mostly, the training revolves around an implementation of the PPO (Proximal Policy Optimization) algorithm, which is provided by the unity ML-Agents module, and involves tuning parameters and trying various techniques like Curiosity-Driven Exploration to improve results. This paper also addresses common problems like sparse rewards, clumsy agent navigation in world space, slow starts to the training process or overfitting, as well as possible solutions to those. Ending with an in-depth dive into ML-agents, the Unity machine learning module, this study addresses the best ways to leverage machine learning to achieve behaviour close to what us, humans, would consider intelligent and potentially use it for a game with educational purposes. The resulting simulation can serve as the core for an educational game that could potentially teach the player about the way acts of theft in public transports happen and how to combat those. The results proved to be quite satisfactory for establishing the basic building blocks of a simulation with a bus, passenger and thief agents. However, there is definitely room for improvement as a real world dataset with records of pickpocketing would boost the realism of the simulation. Having access to detailed data like preferred victims, people density on a bus, time of the day, lighting and other such factors, could especially motivate changes to the thief agent's behaviour and improve its utility in teaching the observer about the way a pickpocketing act happens.

Această lucrare se axează pe crearea unui joc educațional cu o simulare realistă a actelor de furt de buzunare în transportul public, bazată pe agenți inteligenți. Cercetările privind impactul jocurilor în educație și subiecte precum construirea blocurilor inițiale ale unui joc, crearea unui mediu de instruire pentru agenți inteligenți în Unity și utilizarea tehnicilor de învățare automată pentru a-i antrena sunt descrise în detaliu în această lucrare. Sarcini precum configurarea câmpului vizual al unui agent, observațiile și acțiunile, construirea mașinilor de stare și configurarea navigației sunt discutate în capitolul de implementare. În cea mai mare parte, instruirea are la bază o implementare a algoritmului PPO (Proximal Policy Optimization), care este furnizat de modulul unity ML-Agents, și implică reglarea parametrilor și încercarea diferitelor tehnici precum Curiosity-Driven Exploration pentru a îmbunătăți rezultatele. Această lucrare abordează, de asemenea, probleme obișnuite, cum ar fi recompensele rare, navigarea neîndemânatică a agenților în spațiu, începerea lentă a procesului de antrenament sau supraadaptarea, precum și posibilele soluții la acestea. Încheind cu o scufundare aprofundată în ML-Agents, modulul de învățare automată Unity, acest studiu abordează cele mai bune modalități de a valorifica învățarea automată pentru a obține un comportament apropiat de ceea ce noi, oamenii, am considera inteligent și am putea folosi pentru un joc cu scop educațional. Simularea rezultată poate servi drept bază pentru un joc educațional care ar putea învăța jucătorul despre felul în care se întâmplă actele de furt în transportul public și cum să le combată. Rezultatele s-au dovedit a fi destul de satisfăcătoare pentru stabilirea elementelor de bază ale unei simulări cu un autobuz, agenți pasageri și agenți hoți. Cu toate acestea, există cu siguranță loc de îmbunătățire, deoarece un set de date din lumea reală cu înregistrări de hoți de buzunare ar spori realismul simulării. Având acces la date detaliate, cum ar fi victimele preferate, densitatea oamenilor într-un autobuz, ora din zi, iluminatul și alți astfel de factori, ar putea motiva în special schimbări în comportamentul agentului hoț și ar putea îmbunătăți utilitatea acestuia în învățarea observatorului despre modul în care se întâmplă un furt de buzunar.