[최종 프로젝트 일지 - 0주차] 쉽지 않았던 준비 기간...

이번 포스팅을 통해 네이버 부스트캠프 ai tech에서 최종 프로젝트를 진행하면서 내가 어떻게 진행했는지 정리하려고 한다. 이런 프로젝트가 처음이다 보니 프로젝트를 진행하면서 겪었던 것들과 배운 것들, ... 등등을 정리할 겸 포스팅을 해야겠다고 마음을 먹었다.

 

주제

우리 팀의 주제는 팀을 모을 때부터 virtual try-on이었다. 온라인에서 옷을 쇼핑할 때 옷을 직접 입어보지 않아도 나와 어울리는지를 볼 수 있게 돕는 서비스라고 보면 된다. 우리는 단순히 옷만 입히는 것이 아니라 모션도 생성해서 움직이는 것까지 보여줌으로써 우리만의 $+\alpha$를 보여주자라는 생각으로 프로젝트 주제를 선정했다.

Vitual Try On Model + Pose Generation Model

팀 내 역할

팀 내에서 유일하게 생성모델에 관심이 있었고, 생성모델에 대해 공부해본 것도 내가 유일해서 내가 모델링을 팀 내에서 주로 맡기로 했다. 그래서 우리 주제에 맞는 모델 리서치, 데이터 수집 및 제작, 모델 학습 등을 프로젝트 기간 동안 집중해서 하기로 했다.

모델 리서치

모델 리서치를 진행하면서 Pose Generation Model은 프로젝트 진행 전부터 Magic Animate라는 모델을 선정을 해놨기에 이 모델로 고정을 해두었다. 그래서 Virtual Try On Model을 리서치해서 어떤 모델을 쓸지 정해야 했다. 우리는 최신 모델들 위주로 리서치를 했다.

• DCI-VTON
• Ladi-VTON
• SD-VITON

리서치 결과 후보 모델로 위 세 논문들을 선정했다. 최신 모델들이기도 했고 diffusion model을 이용하고 싶었던 내 사심을 담아 diffusion을 쓰는 모델들 위주로 리서치를 했다. 세 모델들 중에서 inference 결과를 보고 팀 내 회의를 통해 모델을 선정하기로 했다. 

데이터 리서치

우리의 사정상 Magic Animate를 학습시키는 것은 힘들 것 같아서 virtual try on model을 학습시키는 것을 목표로 선정했다. 그렇기에 이에 맞는 데이터를 찾아야했다. 하지만 이런 데이터를 찾기가 쉽지 않았고 또한 연구를 위해 제작된 데이터를 제공 받는 것이 쉽지 않았고 결국 우리에게 맞는 적절한 데이터를 찾지 못했다.

멘토님 피드백

Level2 도중에 한번 멘토님이 바뀌는데, 바뀌고 나서 멘토님과 첫 멘토링 시간에 우리의 프로젝트에 대해 설명을 드렸다. 최종 프로젝트에 대한 피드백을 받는데 엄청 혼났다... 멘토님은 결국 학습된 모델을 가져다 쓰는 것만 하는 것이지 않냐라는 멘토님의 피드백이었다. 이렇게 되면 본인이 면접관이라면 이 프로젝트에 대해 아무것도 안물어 볼 것 같다고 말씀하셨다. 그래서 어떻게든 모델을 학습시키거나 하는 등의 ai 프로젝트에 맞는 프로젝트를 진행해야한다고 말씀해주셨다.

 

멘토님의 피드백을 받고 많이 침울해졌다. 너무 다 맞는 말씀만 해주셨고 너무 안일하게 생각한 잘못이다. 피드백을 받은 날은 침울해서 멘토링 끝나고 계속 누워있었던 것 같다. 팀원분들이 전체적인 주제 자체를 변경할 생각은 없어 보여서 지금 주제를 유지하면서 멘토님의 피드백을 어떻게 수용해서 우리의 프로젝트에 녹여낼지 고민을 엄청 많이했다. 이렇게 최종 프로젝트 시작 전 준비 기간이 다 지나간 것 같다.