최끝장의 끝장나는 BLOG

요즘 연구실에서 StyleGAN을 활용한 latent inversion에 관련된 연구를 계획하고 있어서, 관련 논문을 쭉 읽던 중에 논문 몇 개를 포스팅으로 남기고자 리뷰를 쓴다. 이번 포스팅에서는 소개할 논문은 psp 모델에 다루는 논문이다. psp은 latent inversion에서 끝나는 게 아니라 image translation까지 할 수 있는 모델이다. 논문의 핵심을 두가지를 뽑으라면 다음과 같다. 1. encoder를 pretrain된 StyleGAN generator 앞에 두어, 기존 latent space에 벗어난 이미지를 input으로 받아도 이미지에 대한 latent vector를 뽑을 수 있음 2. invert first, edit later라는 기존의 latent editing과정을..

Paper review 2022. 5. 6. 16:43

이번 포스팅은 3D Reconstruction 관련 최신 모델 중 Neural implicit surface 계열인 NeuralWrap에 대해서 설명하려고 한다. 논문을 읽으면서 기존의 NeRF 계열(Neural radiance field)의 모델들과 비슷하면서 약간은 색다른 느낌을 주기도 했다. 논문의 초록에서는 여타 논문들과 비슷하게 기존 모델들의 한계점을 제시한다. 기존의 Neural implicit surfaces 기반의 모델들 (NeRF는 이 계열에 해당하는 모델인지는 찾아봐야겠다..), VolSDF와 같은 모델의 주요 한계점은 high frequency texture를 neural network를 통해 만들어내기가 어려웠다는 점이다. 이제 논문에서 어떤 구조의 모델과 방법론을 활용하여 문제를 ..

Paper review 2022. 3. 18. 13:24

오늘 리뷰하고자 하는 논문은 엄청 따끈따끈한 최신 논문이다. 2022년 3월, 며칠전에 올라온 논문인데, 주제는 3D Reconstuction을 위한 NeRF의 확장판 모델이라고 생각하면 된다. 이 논문을 선택한 이유는 모델이름이 Point-NeRF라는 점에서 어떤식으로 Point라는 개념을 이용해서, NeRF에 적용했는지 궁금했고 현재 Computer Vision 분야의 많은 사람들의 반응도 뜨거운 논문이기 때문이다. 본격적으로 논문을 리뷰를 하기에 앞서 3D Reconstruction 분야에서 대표적인 method들에 간단하게 요약하자면, NeRF는 High quality의 view 생성 가능하지만, scene마다 Optimization에 소요되는 시간이 너무 길고, General 한 모델이 아니라는..

Paper review 2022. 3. 13. 17:09

오늘은 많은 사람들이 알만한 논문하나를 리뷰하고자 한다. 바로 'Attention Is All You Need'라는 논문이다. 이 논문은 우리가 익히 아는 'Transfomer'의 시초가 되는 논문이다. 이미 블로그에서 Vision Transfomer, DETR 등 Transfomer 기반의 모델 관련 논문들을 여러차례 리뷰했지만, 이들의 시초가 되는 논문 역시 리뷰를 하면서 정리를 할 필요가 있다고 느꼈다. Transfomer가 처음 등장했을때, 이 모델은 자연어처리, 그 중에서도 Translation Task을 위해 나온 모델이라고 해도 과언이 아니다. (실제로 논문에서도 Translation task에서만 Transfomer를 시험했다는 것을 알 수 있다.) Transfomer는 이후 BeRT, G..

Paper review 2022. 2. 22. 00:40

오늘 리뷰할 논문은 Depth Estimation에 관한 논문이다. Depth Estimation은 이미지의 'Depth'를 측정하는 것으로, 쉽게 이해하면 깊이감, 원근감을 찾는다고 생각하면된다. 이러한 Depth Estimation은 자율 주행 자동차의 핵심적인 기술로 활용된다. (운전자 입장에서 어떤 Object가 가까이 아는 것은 상식적으로도 중요하다) 먼저 본격적으로 논문을 리뷰하기 전에 Depth Estimation에 대한 기본적인 Background 지식에 대해서 설명을 해보겠다. Depth Estimation을 위해서는 보통 다른 시선에서 본 두 장의 이미지가 필요하다. 이 두 장의 이미지를 가지고 있으면, 각 두 이미지 사이에는 일종의 matching이 되는 픽셀들이 존재할 것이다. 위 ..

Paper review 2022. 2. 15. 22:01

오늘 리뷰할 논문은 CLIP-NeRF에 관한 논문이다. CLIP-NeRF은 shape 과 appearance code를 condition으로 받아서, 3D 물체를 generate하는 모델로써, 흔히 알려져있는 Conditional NeRF, Edit-NeRF 등과 같은 모델들과 흐름을 같이 한다. 하지만, 모델 이름에 CLIP이 들어가 있듯이 CLIP을 Condition으로 줄때 활용한다는 점에서 차이점이 있다. CLIP은 저번 Glide 페이퍼 리뷰에서도 언급했듯이, 텍스트와 이미지 encoder를 이용해, 텍스트와 이미지에 쌍에 대해 같은 임베딩 공간상에서 distance를 측정할 수 있는 도구이다. 이제 CLIP-NeRF의 구조를 뜯어보면서, 어떤식으로 모델이 이루어져있고 CLIP을 활용하는지 보자..

Paper review 2022. 2. 15. 01:37

오늘 리뷰할 논문은 GLIDE라는 논문이다. 개인적으로, Diffusion 모델에 대해 베이스가 없는 상태에서 읽어서, 읽기 쉽지 않았다. GLIDE는 제목에도 드러나있듯이, Image Generation모델이다. 그리고, 우리가 흔히 알고 있는 GAN 모델이 아니라, Diffusion 모델이다. 추가적인 특징으로는 Text-Guided, 즉 사용자가 텍스트로 input을 주면, 그에 해당하는 이미지를 생성할 수 있는 모델이다. GLIDE의 원리를 본격적으로 알아보기 전, Diffusion 모델에 대해 알 필요가 있다. 위 그림은 Diffusion 모델을 한눈에 파악할 수 있는 그림이다. Diffusion 모델의 원리는 크게 두가지 단계로 설명될 수 있는데, 첫번째 과정이 diffusion process..

Paper review 2022. 2. 8. 21:17

이번 논문은 'Style GAN'이라고 잘 알려진 모델이 처음 소개된 논문이다. 논문의 introduction에서는 Traditional GAN의 'Black box' 적인 한계를 지적하면서 시작한다. 여기서 'Black box'란, Traditional GAN은 image를 generation함에 있어서, 어떤 스타일, 형태의 이미지가 생성될 것인지 예측할 수 없게 작동했다는 의미이다. 논문에서 제시하는 Style GAN은 이러한 한계를 극복한 모델로써, 사용자가 image synthesis process를 컨트롤 할 수 있는 모델로써 소개된다. 이번 리뷰에서는 Style GAN의 구조적인 특징을 중심으로 어떻게 한계를 극복했는지 살펴볼 것이다. 위 사진의 왼쪽은 Traditional GAN의 구조를 ..

Paper review 2022. 1. 26. 04:04