최끝장의 끝장나는 BLOG

위 논문은 CVPR 2022에 체택된 논문이며, 핵심은 다음과 같은 질문으로 부터 시작된다 “우리가 이미지를 하나의 latent space로 inversion할 필요가 있을까?’ 이미지의 각각의 영역이 효과적으로 inversion될 수 있는 latent space에 각각 inversion 하면 더 좋지 않을까?" 위와 같은 질문은 어떻게 생각해보면 당연하다. 기존의 연구는 보통 W/W+ space에 inversion하는 것으로 latent space를 한정했다. 이러한 방식은 가장 간단하게 활용할 수 있다는 장점이 존재하지만, 논문의 초록에도 언급했듯이 이미지의 배경이 복잡하거나, 기타 detail한 요소가 이미지에 존재할 경우 reconstruction에 한계를 보인다. 위 논문에서는 이를 극복하기 위..

Paper review 2022. 7. 14. 17:16

나의 Inversion관련 블로그 포스팅을 쭉 읽어본 사람이라면 알겠지만, GAN Inversion의 가장 큰 난관은 distortion-editing 사이의 trade-off를 극복하는 것이다. Vision에서 Inversion을 수행하는 방식은 크게 세가지 (1) Optimization-based (2) Encoder-based (3) Hybrid-method가 있는데, 저번 리뷰에서 소개한 PTI는 (1)에 해당하는 방법이라고 볼 수 있다. (이미지 한장에 대한 latent vector를 optimization 방식으로 찾은 후, generator fine tuning함) 오늘 소개할 논문은 CVPR 2022에 등재된 논문이기에 매우 따끈따끈한 논문이고, (2) Encoder-base 방식을 통해,..

Paper review 2022. 7. 11. 17:02

요즘 연구실에서 진행하는 연구가 3D Inversion에 관한 연구여서, Inversion 관련 논문을 많이 읽는다. 특히 이번에 리뷰할 논문은 최근에 리뷰한 Designing an encoder for stylegan image manipulation 논문에서 다뤘던 distortion-editability 사이의 trade off에 대한 문제를 그대로 가져오면서 시작한다. 이 trade off가 구체적으로 무엇인지는 저번 논문 리뷰에서 자세히 설명했기에, 핵심만 설명하면 이거다. 어떤 이미지(x)를 manipulation하기 위해 특정 latent vector(z)로 inversion할때, 이러한 z가 StyleGAN의 original latent space(W)에 가까울 수록, distortion은..

Paper review 2022. 6. 24. 19:43

오늘 포스팅은 KUBIG 정규세션 스터디의 일환으로 "Interpreting the Regression Equation"에 대해 발표를 목적으로 작성하게 됐다. 스터디는 "Practical Statistics for Data Scientists" 라는 도서를 공부하고 한 주간 특정 부분을 맡아서 발표를 하는 식으로 진행된다. 따라서 지금 작성하는 포스팅의 모든 내용은 모두 이 책에 기반으로 작성되었음을 알린다. 우리는 회귀분석을 설계하고, 분석결과를 보면서 단순히 설계한 회귀방정식이 종속변수값을 얼마나 잘 예측하는지도 확인해야하지만, 그외 다른 요인들(독립변수들 사이의 상관관계 etc)등도 종합적으로 고려해야 한다. 특히 데이터가 한정돼있고, 전통적인 통계학에서는 이러한 요인들을 주의깊게 고려하는 것이 ..

KUBIG 2022. 5. 12. 13:34

방학부터 계속 진행됐던 연구실에서 진행됐던, 내가 소속된 3d 팀의 연구가 종료됐다. 연구를 진행되는 동안, 회의에 참여하고 데이터를 만드는 것과 같은 일들을 도와드렸는데, 연구에 늦게 참여했음에도 이름을 논문에 올려주셨다. [2204.13426] AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation (arxiv.org) AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation We propose a novel framework for 3D-aware object manipulation, called Auto-Encoding Neura..

학부 연구생 2022. 5. 6. 17:51

앞선 포스팅한 psp의 논문을 읽고 다음으로 읽은 논문이다. 개인적으로 굉장히 흥미롭게 읽었는데, 논문에서 단순히 특정 모델을 바로 제시하기 보다는 latent space에 대해서 먼저 깊게 고찰하고, 이러한 분석을 바탕으로 모델을 제시했기 때문이다. 논문을 읽고나서 latent vector에 대해서 시야를 넓힐 수 있었다. 논문에서 핵심적으로 다루는 point는 distortion, perceptual quality, editability의 trade off이다. 논문의 설명을 빌려 세가지 용어에 대해서 설명을 하면 다음과 같다. distortion→ generate한 이미지와 input 이미지가 얼마나 image space 상에서 적은 차이를 보이는지? perceptual quality→ invers..

Paper review 2022. 5. 6. 17:37

요즘 연구실에서 StyleGAN을 활용한 latent inversion에 관련된 연구를 계획하고 있어서, 관련 논문을 쭉 읽던 중에 논문 몇 개를 포스팅으로 남기고자 리뷰를 쓴다. 이번 포스팅에서는 소개할 논문은 psp 모델에 다루는 논문이다. psp은 latent inversion에서 끝나는 게 아니라 image translation까지 할 수 있는 모델이다. 논문의 핵심을 두가지를 뽑으라면 다음과 같다. 1. encoder를 pretrain된 StyleGAN generator 앞에 두어, 기존 latent space에 벗어난 이미지를 input으로 받아도 이미지에 대한 latent vector를 뽑을 수 있음 2. invert first, edit later라는 기존의 latent editing과정을..

Paper review 2022. 5. 6. 16:43

pdf로 설명을 대체함.

KUBIG 2022. 4. 14. 12:42