Abstract:
Introducem un nou model de reprezentare a limbajului numit BERT, care înseamnă Reprezentări
codificatoare bidirecționale de Transformatoare. Spre deosebire de modelele recente de reprezentare a
limbajului (Peters et al., 2018a; Radford et al., 2018), BERT este conceput pentru a antrena prealabil
reprezentările bidirecționale profunde din text neetichetat prin condiționarea în comun a ambelor context
stânga și dreapta în toate straturile. Ca rezultat, modelul BERT pre-antrenat poate fi ajustat cu doar un singur
strat de ieșire suplimentar pentru a crea modele de ultimă generație pentru o largă serie de sarcini, cum ar fi
răspunsul la întrebări și inferența limbajului, fără modificări substanțiale ale arhitecturii specifice sarcinii.
BERT este conceptual simplu și empiric puternic.
Description:
Fișierul atașat conține: Rezumat, Cuprins, Introducere, Bibliografie.