Procesarea limbajului natural utilizând învățarea auto supravegheată

Abstract

Introducem un nou model de reprezentare a limbajului numit BERT, care înseamnă Reprezentări codificatoare bidirecționale de Transformatoare. Spre deosebire de modelele recente de reprezentare a limbajului (Peters et al., 2018a; Radford et al., 2018), BERT este conceput pentru a antrena prealabil reprezentările bidirecționale profunde din text neetichetat prin condiționarea în comun a ambelor context stânga și dreapta în toate straturile. Ca rezultat, modelul BERT pre-antrenat poate fi ajustat cu doar un singur strat de ieșire suplimentar pentru a crea modele de ultimă generație pentru o largă serie de sarcini, cum ar fi răspunsul la întrebări și inferența limbajului, fără modificări substanțiale ale arhitecturii specifice sarcinii. BERT este conceptual simplu și empiric puternic.