[Paper review] Attention 설명 + Attention Is All You Need 리뷰
오늘은 많은 사람들이 알만한 논문하나를 리뷰하고자 한다. 바로 'Attention Is All You Need'라는 논문이다. 이 논문은 우리가 익히 아는 'Transfomer'의 시초가 되는 논문이다. 이미 블로그에서 Vision Transfomer, DETR 등 Transfomer 기반의 모델 관련 논문들을 여러차례 리뷰했지만, 이들의 시초가 되는 논문 역시 리뷰를 하면서 정리를 할 필요가 있다고 느꼈다. Transfomer가 처음 등장했을때, 이 모델은 자연어처리, 그 중에서도 Translation Task을 위해 나온 모델이라고 해도 과언이 아니다. (실제로 논문에서도 Translation task에서만 Transfomer를 시험했다는 것을 알 수 있다.) Transfomer는 이후 BeRT, G..
Paper review
2022. 2. 22. 00:40
