최끝장의 끝장나는 BLOG

오늘 리뷰하고자 하는 논문은 엄청 따끈따끈한 최신 논문이다. 2022년 3월, 며칠전에 올라온 논문인데, 주제는 3D Reconstuction을 위한 NeRF의 확장판 모델이라고 생각하면 된다. 이 논문을 선택한 이유는 모델이름이 Point-NeRF라는 점에서 어떤식으로 Point라는 개념을 이용해서, NeRF에 적용했는지 궁금했고 현재 Computer Vision 분야의 많은 사람들의 반응도 뜨거운 논문이기 때문이다. 본격적으로 논문을 리뷰를 하기에 앞서 3D Reconstruction 분야에서 대표적인 method들에 간단하게 요약하자면, NeRF는 High quality의 view 생성 가능하지만, scene마다 Optimization에 소요되는 시간이 너무 길고, General 한 모델이 아니라는..

Paper review 2022. 3. 13. 17:09

오늘 리뷰할 논문은 CLIP-NeRF에 관한 논문이다. CLIP-NeRF은 shape 과 appearance code를 condition으로 받아서, 3D 물체를 generate하는 모델로써, 흔히 알려져있는 Conditional NeRF, Edit-NeRF 등과 같은 모델들과 흐름을 같이 한다. 하지만, 모델 이름에 CLIP이 들어가 있듯이 CLIP을 Condition으로 줄때 활용한다는 점에서 차이점이 있다. CLIP은 저번 Glide 페이퍼 리뷰에서도 언급했듯이, 텍스트와 이미지 encoder를 이용해, 텍스트와 이미지에 쌍에 대해 같은 임베딩 공간상에서 distance를 측정할 수 있는 도구이다. 이제 CLIP-NeRF의 구조를 뜯어보면서, 어떤식으로 모델이 이루어져있고 CLIP을 활용하는지 보자..

Paper review 2022. 2. 15. 01:37

우리가 살아가는 세상은 3D이다. 지금 옆에 있는 어떠한 물체든 한번 보자. 흥미롭게도 우리 인간은 어떤 물체의 일부분만을 봐도 그 물체의 나머지 형태가 어떨지 쉽게 추론할 수 있다. 가령 책상 위 물병을 본다고 생각하면, 우리는 현재 보고 있는 물병의 모습말고도 그 물병의 나머지 모습이 어떨지 추론할 수 있다. 그렇다면 이러한 인간의 능력을 컴퓨터가 할 수 있게 할 수는 없을까? 좀 더 들어가서 딥러닝(Neural Network)를 활용해서 이러한 능력을 구현할 수는 없을까?. 오늘 리뷰하고자 하는 모델, NeRF(Neural Radiance Fields) 역시 이러한 질문을 시작으로 탄생했다고 할 수 있다. 결론적으로 NeRF는 3D 물체에 대해서 특정 각도에서 찍은 사진만 있으면, 인간처럼 그 3D..

Paper review 2022. 1. 21. 03:01