Bidirectional Encoder Representations from Transformers, BERT

1. BERT (Bidirectional Encoder Representations from Transformers)

Bidirectional(양방향의)

Encoder(입력을 숫자의 형태로 변경)

Representations(표현)

 

즉, Transformers로 부터 양방향으로 입력을 숫자의 형태로 변경하는 모듈라고 이해 할 수 있다.

 

2. Transformers?

Transformer

 

입력을 Encoder와 Decoder를 지나 원하는 아웃풋으로 변경하는 것

 

 

3. GPT vs BERT 

위에서 언급한 Encoder, Decoder에서 GPT와 BERT의 큰 차이점을 알 수 있는데,  BERT는 Encoder를 활용하여 양방향 처리하며, GPT는 Decoder를 활용하여 단방향 처리합니다.

 

예를 들어 GPT 학습은 비지도 학습으로 '나는 학교에 간다.'를 학습한다고 할 때 

- '나는' _

- '나는 학교에 _'

위의 두가지 예처럼 좌에서 우로 단방향으로 비지도학습으로 데이터를 학습합니다.

 

여기에 구글은 단방향으로 데이터를 이해하는 것이 문맥을 이해하는데 부족하다고 하였고, BERT를 발표했습니다.

BERT는 예를 들기에 조금 짧은 문장이지만, 좌에서 우로 특정 방향이 있는게 아니라 학습할 데이터를 비워두고 양방향으로 학습하는 형태입니다.

-  _나는 _ 갔다

- _ 학교에 

- 나는 _

- 학교에 _

 

4. BERT의 활용

BERT

BERT는 1문장을 input으로 받을 수도 있고, 2문장을 input으로 받을 수도 있는데

1문장을 input으로 받는 경우에는

- pam? spam? 

 

2문장을 input으로 받는 경우

- Q & A

 

5. BERT fine tuning 사례

(1) 두 문장의 관계를 예측

(2) 문장을 입력 받아, 해당문장의 class를 예측

(3) Q & A

(4) 문장속 단어를 테깅

 

 

6. reference

- https://arxiv.org/abs/1810.04805

- https://www.youtube.com/watch?v=30SvdoA6ApE