최끝장의 끝장나는 BLOG

위 논문은 CVPR 2022에 체택된 논문이며, 핵심은 다음과 같은 질문으로 부터 시작된다 “우리가 이미지를 하나의 latent space로 inversion할 필요가 있을까?’ 이미지의 각각의 영역이 효과적으로 inversion될 수 있는 latent space에 각각 inversion 하면 더 좋지 않을까?" 위와 같은 질문은 어떻게 생각해보면 당연하다. 기존의 연구는 보통 W/W+ space에 inversion하는 것으로 latent space를 한정했다. 이러한 방식은 가장 간단하게 활용할 수 있다는 장점이 존재하지만, 논문의 초록에도 언급했듯이 이미지의 배경이 복잡하거나, 기타 detail한 요소가 이미지에 존재할 경우 reconstruction에 한계를 보인다. 위 논문에서는 이를 극복하기 위..

Paper review 2022. 7. 14. 17:16

나의 Inversion관련 블로그 포스팅을 쭉 읽어본 사람이라면 알겠지만, GAN Inversion의 가장 큰 난관은 distortion-editing 사이의 trade-off를 극복하는 것이다. Vision에서 Inversion을 수행하는 방식은 크게 세가지 (1) Optimization-based (2) Encoder-based (3) Hybrid-method가 있는데, 저번 리뷰에서 소개한 PTI는 (1)에 해당하는 방법이라고 볼 수 있다. (이미지 한장에 대한 latent vector를 optimization 방식으로 찾은 후, generator fine tuning함) 오늘 소개할 논문은 CVPR 2022에 등재된 논문이기에 매우 따끈따끈한 논문이고, (2) Encoder-base 방식을 통해,..

Paper review 2022. 7. 11. 17:02

요즘 연구실에서 진행하는 연구가 3D Inversion에 관한 연구여서, Inversion 관련 논문을 많이 읽는다. 특히 이번에 리뷰할 논문은 최근에 리뷰한 Designing an encoder for stylegan image manipulation 논문에서 다뤘던 distortion-editability 사이의 trade off에 대한 문제를 그대로 가져오면서 시작한다. 이 trade off가 구체적으로 무엇인지는 저번 논문 리뷰에서 자세히 설명했기에, 핵심만 설명하면 이거다. 어떤 이미지(x)를 manipulation하기 위해 특정 latent vector(z)로 inversion할때, 이러한 z가 StyleGAN의 original latent space(W)에 가까울 수록, distortion은..

Paper review 2022. 6. 24. 19:43