Identificarea mesajelor instigatoare a imaginilor multimodale

Abstract

Lucrarea este alcătuită din introducere, 3 capitole, concluzii și bibliografie. Capitolul 1 descrie importanța temei, analiza domeniului și importanța cercetărilor din acest domeniu. În acest capitol sunt analizate materialele teoretice MML (Multimodal Machine Learning) și sublinierea provocărilor care trebuie rezolvate pentru a crea un model funcțional. Capitolul 2 descrierea și analiza modelelor existente. Este descrisă arhitectura celor mai de success modele în domeniu, specificarea atât avantajelor cât și dezavantajele fiecărui model. Sunt prezentate diagrame, figuri și formule cu exemple care demonstrează acest fapt. Capitolul 3 descrie integrarea a mai multor modele existente precum BERT, UNITER într-un întreg pentru a acoperi probleme și cazuri mai diverse. Sunt aduse exemple de optimizare a modelului prin diversificarea setului de date cât și îmbunatățirea algoritmului de predicție.

The paper consists of an introduction, 3 chapters, conclusions and bibliography. Chapter 1 describes the importance of the topic, the analysis of the field and the importance of research in this area. In this chapter, we take a look at the theoretical side of MML (Multimodal Machine Learning) and at the challenges that need to be solved to create a functional model are outlined. Chapter 2 describes and analyses the existing models. The architecture of the most successful models in the field is described, specifying both advantages and disadvantages of each model. Diagrams, figures and formulae are presented with examples to demonstrate this. Chapter 3 describes the integration of several existing models such as BERT, UNITER into a whole to cover more diverse problems and cases. Examples are given of model optimization by diversifying the dataset as well as improving the prediction algorithm.