Google's Neural Machie Translation System
2016년 구글의 신경망 번역 시스템
8개 층을 쌓은 Encoder-Decoder 구조
Residual Connection 사용
Bahdanau Attention 채택
<UNK> 토큰 처리를 하지 않고 단어를 그대로 복사하여 적당한 위치에 배치하는 Copy Model을 사용
장점
- 정확도가 올라감
- 학습속도 빨라짐
- 기울기 소실 문제 해결가능
https://norman3.github.io/papers/docs/google_neural_machine_translation.html
Google's Neural Machine Translation System.
그리고 \(sigmoid, tanh\) 등의 함수와 element-wise 연산인 \( (\odot, +) \) 등도 모두 정수에 대한 연산으로 수행된다.
norman3.github.io
728x90
'Study (Data Science) > NLP' 카테고리의 다른 글
| Transformer 2 - Multi Head Attention / Scaled Dot-Product Attention / Masking / Position-wise Feed Forward Network / Query, Key, Value (0) | 2023.03.14 |
|---|---|
| Transformer 1 - Positional Encoding (0) | 2023.03.09 |
| 모델 발전과정 2 - Attention (Bahdanau / Luong) (0) | 2023.02.28 |
| 모델 발전과정 1 - SLM / NNLM / RNN / Seq2seq (0) | 2023.02.27 |
| 벡터화 발전과정 4 - 워드 임베딩 (Word2Vec / FastText / GloVe) (0) | 2023.02.23 |
댓글