첫번째로, BERT 모델에 대해서 공부해보자. BERT : Bidirectional Encoder Representations from Transformers로, 2018년도 google이 공개한 AI 언어 모델 이름에서 알 수 있듯이, 자연어를 이해하기 위한 양방향 학습 모델을 모두 지원하는 알고리즘이다. 3.3억 단어의 방대한 코퍼스를 정제 및 임베딩하여 학습하고 스스로 라벨링하여 준지도학습으로 수행했다. 💡 기본 구조 Transformer의 Encoder을 쌓아올린 구조로, Base 버전에는 12개를 쌓았고 Large 버전에서는 24개를 쌓았다. 💡 BERT의 토크나이저 WordPiece : BERT는 단어보다 더 작은 단위로 쪼개는 서브워드 토크나이저를 사용. BPE(Byte Pair Encodi..
