Google membuat pendekatan machine learning berbasis transformer untuk prapelatihan pemrosesan bahasa alami yang disebut Representasi Encoder Dua Arah dari Transformers. Ini memiliki sejumlah besar parameter, karenanya melatihnya pada kumpulan data kecil akan menyebabkan overfitting. Inilah mengapa kami menggunakan model BERT terlatih yang telah dilatih pada kumpulan data yang sangat besar. Menggunakan model yang telah dilatih sebelumnya dan mencoba untuk "menyesuaikan" untuk dataset saat ini, yaitu mentransfer pembelajaran, dari kumpulan data yang sangat besar itu ke kumpulan data kami, sehingga kami dapat "menyesuaikan" BERT sejak saat itu dan seterusnya.
Pada artikel ini, kami akan menyempurnakan BERT dengan menambahkan beberapa lapisan jaringan saraf sendiri dan membekukan lapisan sebenarnya dari arsitektur BERT. Pernyataan masalah yang kami ambil di sini adalah mengklasifikasikan kalimat menjadi POSITIF dan NEGATIF dengan menggunakan model BERT yang disetel dengan baik.