[2022-1 KUBIG 방학세션] CV분반 방학세션 및 contest 후기

리뷰를 쓰는건 오늘이지만 저번주에 KUBIG contest가 있었다. KUBIG은 방학에는 스스로 관심있는 분야의 분반(ML, DL, CV, NLP) 중 하나를 골라서 들어가서 사람들과 같이 공부를 한다. 그리고 2달 정도 같이 공부한 내용을 바탕으로 간단한 프로젝트를 하는 contest를 연다. 난 CV 분반에 들어갔고, CV분반은 나를 포함해서 5명으로 구성됐다.

 

CV 분반을 이끄시는 분은 김승룡 교수님 랩실에서 한솥밥을 먹고있는 형님인데, 이제는 석사생이 되는 분이다. 이 분은 CV에 대해서 예전부터 관심을 가지고 많은 논문과 경험을 했기 때문에 능숙하게 분반을 잘 이끄셨다. (적어도 내가 느끼기엔 말이다^^)

우리가 방학때 했던 주 활동은 한 주간 논문을 읽고, 하나의 논문에 대해서 발표를 하는 방식이였고, 중간중간에 논문에서 나오는 모델들을 직접 구현해보는 활동도 있었다. (ex. MLP-Mixer, U-Net)

실제로 이 블로그 paper review 카테고리에 올라가 있는 논문 리뷰 중 4개 정도는 내가 발표를 할 때는 쓴 자료이기도 하다.

 

2달 정도 다양한 분야의 논문을 읽었고, 우리는 contest를 위해 주제를 정하고 프로젝트를 진행해야 했다. 난 우리가 진행한 프로젝트를 학회 사람들에게도 보여줘야 하는 만큼, 임펙트 있고 쉽게 이해할 수 있는 주제가 좋겠다고 생각했다.

그러던 도중 GAN 계열 모델 중 Style-GAN을 이용해 latent-Interolation을 진행하는 것은 어떨까라는 생각이 들었고 나아가 후속 모델인 Style-CLIP도 포함한 프로젝트를 팀원들에게 제안했다. 즉 한마디로 Image Manipulation 프로젝트였다. 사용하는 이미지 역시 우리가 잘 아는 연예인이나 인물들의 사진을 사용한다면 더 흥미롭게 진행 될 것이라고 확신했다.

팀원분들은 나의 의견에 동의했고, 우리는 순조롭게 프로젝트를 진행했다.

 

실제로 논문을 읽고 코드를 통해 구현하고, 실험하면서 프로젝트를 진행했는데 중간중간에 몇가지 어려운 점이 있었다. 특히 가장 기억에 남는 점은 인터넷에서 구할 수 있는 사람 얼굴 이미지에 대한 latent vector를 얻기가 쉽지 않았다는 점이다. 실험을 하면서 latent vector를 잘 inversion 할 수 있는 이미지의 특징들을 정리해보기도 했고, 이러한 특징에 거의 부합하는 이미지를 인터넷상에서 가져오면 모델이 비교적 잘 작동한다는 것을 확인할 수 있었다.

실험은  우여곡절 끝에 무사히 잘 끝낼 수 있었고, 학회원들 대상으로 발표까지 잘 마칠 수 있었다. CV를 처음으로 접하는 사람들도 있을텐데, 그런 분들에게는 우리가 진행한 프로젝트가 더욱 흥미롭지 않았을까라는 생각이 들었다.

난 이번 contest를 진행하면서, 수업이나 논문으로만 줄기차게 배웠던 StyleGAN과 CLIP에 대해서 직접 구현하면서, 모델을 좀 더 확실하게 이해할 수 있었고 관련해서 다른 이미지 프로젝트가 있다면 쉽게 적용할 수 있겠다는 자신감이 생겼다. 

위 영상은 프로젝트 진행하면서 얻은 결과이다. (로제 -> 제니)

 

아래는 실험을 쭉 진행하면서 사용한 코드와 결과들은 물론, 발표자료까지 정리한 깃헙주소이다. 혹시 관심있는 사람들은 README에 적혀있는 과정을 따라서 직접해보는 것도 추천한다. 

 

https://github.com/ChoiDae1/Image_Manipulation_Project

GitHub - ChoiDae1/Image_Manipulation_Project: [2022-1 KUBIG Contest] StyleGAN과 StyleCLIP을 이용한 사용자 인터페이