최끝장의 끝장나는 BLOG

우리가 살아가는 세상은 3D이다. 지금 옆에 있는 어떠한 물체든 한번 보자. 흥미롭게도 우리 인간은 어떤 물체의 일부분만을 봐도 그 물체의 나머지 형태가 어떨지 쉽게 추론할 수 있다. 가령 책상 위 물병을 본다고 생각하면, 우리는 현재 보고 있는 물병의 모습말고도 그 물병의 나머지 모습이 어떨지 추론할 수 있다. 그렇다면 이러한 인간의 능력을 컴퓨터가 할 수 있게 할 수는 없을까? 좀 더 들어가서 딥러닝(Neural Network)를 활용해서 이러한 능력을 구현할 수는 없을까?. 오늘 리뷰하고자 하는 모델, NeRF(Neural Radiance Fields) 역시 이러한 질문을 시작으로 탄생했다고 할 수 있다. 결론적으로 NeRF는 3D 물체에 대해서 특정 각도에서 찍은 사진만 있으면, 인간처럼 그 3D..

Paper review 2022. 1. 21. 03:01

Computer Vision 분야에 transfomer을 적용해 classification task에서 SOTA를 달성한, Vision Transfomer는 큰 파장을 일으켰다. 그리고 classification 외에 다른 task에도 이를 적용하려는 움직임이 나타났다. 오늘 리뷰하는 논문에서 소개하는 모델인 DPT(Dense Prediction Transfomer) 역시 이러한 움직임 속에서 나타난 모델로써, Dense Prediction하는 작업에서 Vision Transfomer를 어떻게 적용할 수 있을까라는 질문에서 시작했다. Dense Prediction에서 좋은 성능을 내는 모델들은 다음과 같은 공통된 특징을 가지고 있었다. 첫번째는 encoder-decoder 구조를 가지고 있다는 점이고, ..

Paper review 2022. 1. 18. 19:35

오늘 리뷰할 논문에서 소개하는 모델은 DETR이다. DETR는 DEtection TRansfomer에서 알 수 있듯이, Transfomer을 활용해 Object Detection을 수행하는 모델이다. 최근 transfomer을 Computer Vision에 적용하는 동향에서 자연스럽게 나온 모델이라고 생각할 수 있다. DETR는 실제로 특정 task에서는 SOTA를 달성했고, 꽤나 강력한 모델이다. 모델의 가장 큰 특징은 'End-to-End' 모델이라는 점인데 즉, 파이프라인 네트워크 여러개를 이어서 하나의 큰 예측 시스템을 만드는 게 아니라, 입력 부터 출력까지 하나의 모델로써 작업을 한 번에(Directly) 처리하는 것을 말한다. 위 그림은 DETR의 구조를 표현한 그림이다. 그림에서는 가시성을 ..

Paper review 2022. 1. 18. 02:01

오늘 리뷰할 논문은 Mask R-CNN이라는 논문이다. R-CNN은 아시다시피 Object Detection의 근본모델이다. 그래서 논문을 읽기전 Mask R-CNN 역시 단순히 Object Detection 모델이라고 생각했다. 하지만 이말은 톨렸다. Mask R-CNN은 Object Dectection은 물론, instance segmentation, keypoint detection 등 좋은 성능을 낼 수 있는 모델이고, 한마디로 multitasking이 가능한 모델이다. 그렇다면 이 모델은 어떤 구조와 방법론은 사용했기에, 이와 같은 성능을 낼 수 있었을까? 모델의 구조는 정말 간단하다. 기존 Faster R-CNN이 Object Detection에서 좋은 성능을 내므로, instance sema..

Paper review 2022. 1. 12. 03:07

이번에 리뷰하고자 하는 논문에서 소개하는 MLP-Mixer는 Vision Transfomer가 등장한 이후 소개된 모델이다. Vision Transfomer은 Convolution 대신 'Self Attention' 이라는 개념을 중심적으로 적용함으로써, Convolution을 뛰어넘는 SOTA를 달성할 수 있었다. Vision Transfomer의 영향으로, Computer Vision에서는 Model Architecture부분에서 Convolution을 사용하지 않는 흐름이 나타났다. 오늘 소개할 논문 역시, 이러한 흐름 속에서 탄생한 모델로써, Convolution을 사용하지 않는 모델이다. 하지만 여기에 더불어, Attention의 개념조차 모델에 적용하지 않았다. MLP-Mixer는 오직 'ML..

Paper review 2022. 1. 8. 19:08

오늘 리뷰할 논문은 An Image Worth 16x16 Words: Transfomers for Image Recognition at scale이다. ICLR 2021에 등재된 논문으로, 비교적 최근 논문이라고 말할 수 있겠다. 논문제목을 보면 이미지는 16x16 word의 가치를 가진다고 돼있다. 이게 무슨 뜻일까? 16x16은 단순히 숫자이므로 무시하면, image와 word는 서로 같은 것이다라고 해석할 수 있다. 상식적인 선에서는 이해하기 어렵지만, 이는 논문에서 다루고 있는 Vision Transfomer의 핵심을 관통한다. Vision Transfomer가 나오게 된 배경을 이해하기 위해서는 Transfomer를 알 필요가 있다. 이 글에서는 자세히 설명하지는 않겠지만, 2017년 NLP 분..

Paper review 2022. 1. 6. 02:32

이 블로그의 첫 번째 paper review는 제목에도 나타 있듯이 'Style transfer'에 관한 논문을 하려고 한다. 최근에 '파이토치 첫걸음'이라는 책을 사서 독학으로 공부하고 있는 도중, 우연히 이 논문에 대해서 접할 수 있었다. 책에서 이와 관련해 요약하여 내용을 전달하고 있었지만 읽으면서, '어떤 이미지에 다른 이미지의 스타일을 입혀서 만들어내는 점'에서 재밌을 것 같아서 논문까지 찾아서 읽게 되었다. 논문을 본격적으로 리뷰하기 전, 이 논문은 CVPR 2016에 등재된 논문으로, 책에서도 Style transfer의 시초가 되는 논문이라고 소개한다. (링크)-> https://openaccess.thecvf.com/content_cvpr_2016/html/Gatys_Image_Style..

Paper review 2021. 12. 27. 01:23