jin0 jin0

1. BERT (Bidirectional Encoder Representations from Transformers) Bidirectional(양방향의) Encoder(입력을 숫자의 형태로 변경) Representations(표현) 즉, Transformers로 부터 양방향으로 입력을 숫자의 형태로 변경하는 모듈라고 이해 할 수 있다. 2. Transformers? 입력을 Encoder와 Decoder를 지나 원하는 아웃풋으로 변경하는 것 3. GPT vs BERT 위에서 언급한 Encoder, Decoder에서 GPT와 BERT의 큰 차이점을 알 수 있는데, BERT는 Encoder를 활용하여 양방향 처리하며, GPT는 Decoder를 활용하여 단방향 처리합니다. 예를 들어 GPT 학습은 비지도 학습으..