최끝장의 끝장나는 BLOG

이번에 리뷰할 논문은 AED(Acoustic Event Detection)을 few-shot만을 이용하여 어떤식으로 접근할지에 대해, 메타러닝을 비롯한 종합적인 방법론을 다루고 있다. 먼저 AED에 대해서 알아볼 필요가 있다. AED는 Audio-clip이 주어지면, 이 Audio-clip안에 특정 event(기타소리, 종소리..etc)가 일어나는지 detection하는 task이다. AED는 보통 data가 굉장히 부족한 경우가 많고, 좋은 성능을 위해서는 많은 양의 데이터가 필요하다고 알려져 있다. 하지만 실제로 detection하고자하는 event에 대한 data를 많이 얻기는 힘들기에, 최근에는 Semi-Supervised learning이 시도되고 있지만 이마저도 특정 event에 대해서 매우 ..

Paper review 2023. 1. 5. 17:21

이번에 리뷰하고자 하고자 하는 논문은 Model-Agnostic Meta-learning for Fast Adaptation of Deep Networks 라는 논문이다. 이 논문은 Meta-learning관련 논문 중에서도 엄청나게 많은 인용수(8000회 가까이 됨. 2023 1월 3일 기준)를 가지고 있는 논문이고, 어떻게 보면 meta-learning을 연구한다면, 반드시 이해하고 가야 하는 논문이라고 생각한다. 나 역시, meta-learning에 대해서 공부를 시작한지 얼마되지 않았기에 최대한 천천히 읽어가면서 meta-learning이 그래서 무엇이고, 이 논문은 어떤 방법론을 제시했는지 이해하려고 했다. 먼저 meta-learning에 대해서 이해해보자. 사람은 과거에 학습한 내용을 바탕으로..

Paper review 2023. 1. 3. 14:09

오늘 리뷰하고자 하는 논문은 GIRAFFE, StyleNeRF와 같은 3D Generator 계열의 모델 중 하나인 EG3D이다. 여기서 3D Generator는 3D-aware한 이미지를 생성하는 모델이라고 생각하면된다. 흔히 3D Generator는 3D-aware한 이미지를 만들어 내기 위해서 3차원 공간에서 ray sampling을 통한 Neural Rendering 과정을 거친다. (이 부분이 잘 이해가 되지 않는다면, NeRF 포스팅을 보고 오길 바란다) 그리고 Rendering을 하기전 ray sampling한 포인트들에 대응하는 color, density 값을 뽑아야 하는데, 이를 뽑는 방식에 따라 크게 세가지로 나뉜다. 먼저 Voxel 기반의 Explicit한 방법이다. 이 방법은 Imp..

Paper review 2022. 7. 22. 02:48

오늘 리뷰할 논문은 CVPR 2022에 등재된 논문으로, StyleGAN의 latent space 개념을 새로운 방식으로 활용하여 few-shot regression, sorting에 적용했다. 어떤 방식을 활용했을까? 이 질문에 대한 답은 "distance"에 있다. 우리가 어떤 사진을 보고 이 사진의 정확한 카메라 각도(Yaw)에 대해서 알고 싶다고 가정하자. 기본적으로 회귀모델을 사용해야한다는 생각을 할 수 있다. 이러한 회귀모델이 예측해야하는 종속변수는 카메라 각도일 것이다. 그렇다면 회귀모델의 독립변수는 어떤것을 사용해야 할까? 논문에서는 distance라는 개념을 정의 함으로써 이미지 한장에 대응하는 distance를 계산하여 이를 독립변수로 활용하고자 한다. 이제 이 distance의 실체에..

Paper review 2022. 7. 21. 00:56

위 논문은 CVPR 2022에 체택된 논문이며, 핵심은 다음과 같은 질문으로 부터 시작된다 “우리가 이미지를 하나의 latent space로 inversion할 필요가 있을까?’ 이미지의 각각의 영역이 효과적으로 inversion될 수 있는 latent space에 각각 inversion 하면 더 좋지 않을까?" 위와 같은 질문은 어떻게 생각해보면 당연하다. 기존의 연구는 보통 W/W+ space에 inversion하는 것으로 latent space를 한정했다. 이러한 방식은 가장 간단하게 활용할 수 있다는 장점이 존재하지만, 논문의 초록에도 언급했듯이 이미지의 배경이 복잡하거나, 기타 detail한 요소가 이미지에 존재할 경우 reconstruction에 한계를 보인다. 위 논문에서는 이를 극복하기 위..

Paper review 2022. 7. 14. 17:16

나의 Inversion관련 블로그 포스팅을 쭉 읽어본 사람이라면 알겠지만, GAN Inversion의 가장 큰 난관은 distortion-editing 사이의 trade-off를 극복하는 것이다. Vision에서 Inversion을 수행하는 방식은 크게 세가지 (1) Optimization-based (2) Encoder-based (3) Hybrid-method가 있는데, 저번 리뷰에서 소개한 PTI는 (1)에 해당하는 방법이라고 볼 수 있다. (이미지 한장에 대한 latent vector를 optimization 방식으로 찾은 후, generator fine tuning함) 오늘 소개할 논문은 CVPR 2022에 등재된 논문이기에 매우 따끈따끈한 논문이고, (2) Encoder-base 방식을 통해,..

Paper review 2022. 7. 11. 17:02

요즘 연구실에서 진행하는 연구가 3D Inversion에 관한 연구여서, Inversion 관련 논문을 많이 읽는다. 특히 이번에 리뷰할 논문은 최근에 리뷰한 Designing an encoder for stylegan image manipulation 논문에서 다뤘던 distortion-editability 사이의 trade off에 대한 문제를 그대로 가져오면서 시작한다. 이 trade off가 구체적으로 무엇인지는 저번 논문 리뷰에서 자세히 설명했기에, 핵심만 설명하면 이거다. 어떤 이미지(x)를 manipulation하기 위해 특정 latent vector(z)로 inversion할때, 이러한 z가 StyleGAN의 original latent space(W)에 가까울 수록, distortion은..

Paper review 2022. 6. 24. 19:43

앞선 포스팅한 psp의 논문을 읽고 다음으로 읽은 논문이다. 개인적으로 굉장히 흥미롭게 읽었는데, 논문에서 단순히 특정 모델을 바로 제시하기 보다는 latent space에 대해서 먼저 깊게 고찰하고, 이러한 분석을 바탕으로 모델을 제시했기 때문이다. 논문을 읽고나서 latent vector에 대해서 시야를 넓힐 수 있었다. 논문에서 핵심적으로 다루는 point는 distortion, perceptual quality, editability의 trade off이다. 논문의 설명을 빌려 세가지 용어에 대해서 설명을 하면 다음과 같다. distortion→ generate한 이미지와 input 이미지가 얼마나 image space 상에서 적은 차이를 보이는지? perceptual quality→ invers..

Paper review 2022. 5. 6. 17:37