Improving vector search in Retrieval-Augmented Generation

Abstract

This thesis explores how semantic operators in a semantic algebra can improve vector search in Retrieval Augmented Generation (RAG) scenarios. Semantic operators manipulate the meaning of words and sentences in a formal, mathematical way, enabling operations that allow for precise comparison and manipulation of meaning. These operators are applied practically through the use of Large Language Models (LLMs), which decompose, manipulate, and recompose the meaning of words and sentences. The decomposed and tagged sentences are then transformed into embeddings that facilitate the search for relevant sources within a vector space, which will allow for more control over the search process and the retrieval of more relevant sources.

Această teză explorează modul în care operatorii semantici într-o algebră semantică pot îmbunătăți căutarea vectorială în scenarii de Generare Augmentată prin Regăsire (RAG). Operatorii semantici manipulează sensul cuvintelor și propozițiilor într-un mod formal și matematic, permițând operații care oferă posibilitatea de a compara și manipula precis sensul. Acești operatori sunt aplicați practic prin utilizarea modelelor de limbaj mari (LLM), care descompun, manipulează și recompun sensul cuvintelor și propozițiilor. Propozițiile descompuse și etichetate sunt apoi transformate în embedding-uri care facilitează căutarea surselor relevante într-un spațiu vectorial, ceea ce va permite un control mai mare asupra procesului de căutare și regăsirea unor surse mai relevante.