Performance evaluation of machine learning models for automated ticket routing systems (DistilBERT multilingual cased, InfoXLM, DistilBERT base uncased)

Abstract

Automated ticket routing systems are vital for efficiently managing customer and IT support inquiries. This thesis evaluates the performance of three prominent Natural Language Processing (NLP) models: DistilBERT-base-uncased, DistilBERT-multilingual-cased and InfoXLM, tailored for automated ticket classification and routing. The study integrates a robust methodology comprising data cleaning, exploratory analysis and augmentation to prepare a real-world dataset. Advanced classification technique of fine-tuning was employed to optimize model performance across diverse ticket categories. The evaluation reveals that fine-tuning pre-trained models on domain-specific ticket data significantly enhances classification accuracy and routing precision. Additionally, performance optimization strategies, including stop-word removal, n-gram tokenization and batch size adjustments, were explored to further refine model accuracy and computational efficiency. By integrating domain-specific fine-tuning and scalable methodologies, this research underscores the transformative potential of machine learning in automated ticket routing systems. The findings provide actionable insights for implementing efficient, adaptable, and accurate ticket management solutions in dynamic support environments, ultimately improving service delivery and operational scalability.

Sistemele automatizate de rutare a tichetelor sunt esențiale pentru gestionarea eficientă a cererilor de suport pentru clienți din diferite domenii, precum și cei din domeniul IT. Această teză evaluează performanța a trei modele importante de Procesare a Limbajului Natural (NLP): DistilBERT-base-uncased, DistilBERT-multilingual-cased și InfoXLM, adaptate pentru clasificarea și rutarea automată a tichetelor. Studiul integrează o metodologie eficientă, care include curățarea datelor, analiza exploratorie și augmentarea, pentru a pregăti un set de date eficient, extras dintr-o aplicație reală. Tehnică avansată de clasificare, fine-tuning, a fost aplicată pentru optimizarea performanței modelelor pe categorii diverse de tichete. Evaluarea expune faptul că ajustarea modelelor pre-antrenate pe date specifice domeniului îmbunătățește semnificativ acuratețea clasificării și precizia rutării. În plus, teza explorează strategii de optimizare a performanței, cum ar fi eliminarea stop-word-urilor, tokenizarea prin n-grame și ajustarea dimensiunii loturilor (batch size), îmbunătățind și mai mult acuratețea și eficiența modelelor. Prin integrarea metodei de fine-tuning specific domeniului și a celor mai noi metodologii, această cercetare subliniază impactul transformator al învățării automate asupra sistemelor de rutare a tichetelor. Rezultatele oferă perspective aplicabile pentru implementarea unor soluții eficiente, adaptabile și precise de gestionare a tichetelor, îmbunătățind în final livrarea serviciilor și scalabilitatea operațională în medii de suport dinamice.