평범한 필기장

8월 20일 화요일. 2달간의 랩실 인턴이 끝났다. 원래 인턴 시작하면서 세운 목표는 매주 한주간 뭘 했는지, 뭘 배웠는지, 어땠는지 등을 포스팅하려했지만 정말 정말 정신없고 힘들어서 그럴 여력은 없었다.... 이렇게 끝났을 떄 나마 후기를 작성하려고 한다.1달 간의 포항 생활 일단 POSTECH AMI Lab 인턴 생활이 어땠는지부터 정리해보자면 첫 한달은 포항에서 기숙사 생활을 했다. 대부분의 대학원생들이 포항계셔서 랩실은 나름 붐볐다. 랩실 시설은 엄청 깔끔하고 좋았다. 5층에 랩실이 있었는데 4층에 쉬는 공간과 회의실?이 따로 또 있었다. 적응이 끝나고 쉬는 공간에 있는 턱걸이 기구를 종종 이용했다. 첫 주는 연구 주제 관련된 3d editing 논문들을 쭉 읽고 서버 셋팅하는데 시간을 다 쓴 것..

네이버 부스트캠프 수료를 하고 약 3개월이 되간다.... 부스트캠프를 시작하기 전에 내가 상상하던 모습은 아니긴하다ㅎㅎ 부스트캠프를 시작하기 전에 1년 휴학을 하고 세웠던 계획은 부스트캠프를 통해 엄청난 성장을 하고 복학 전까지 인턴을 하는 것이 목표였으나 역시 인생은 계획대로 되지 않는다. 부스트캠프를 시작하면서 한 다짐만큼 내가 열심히 하지 않은 탓이 아닐까.. 그래도 그 만큼의 성장은 아니였지만 당연히 5~6개월간 나름대로 성장은 했고 또 많은 경험을 했고 또 많은 사람들은 만나면서 정말 잊지 못할 경험을 한 것은 사실이다. 주변에 네이버 부스트캠프 ai tech를 하고 싶어하는 사람들이 좀 있는데 나는 정말 x100 강추한다. 아무튼 수료하면서 수료 후기? 포스팅을 할려고 했지만 나의 귀차니즘으로..

https://arxiv.org/abs/2403.17377 Self-Rectifying Diffusion Sampling with Perturbed-Attention GuidanceRecent studies have demonstrated that diffusion models are capable of generating high-quality samples, but their quality heavily depends on sampling guidance techniques, such as classifier guidance (CG) and classifier-free guidance (CFG). These techniquesarxiv.org1. Introduction Diffusion Model들은..

https://arxiv.org/abs/2403.18818 ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and InsertionDiffusion models have revolutionized image editing but often generate images that violate physical laws, particularly the effects of objects on the scene, e.g., occlusions, shadows, and reflections. By analyzing the limitations of self-supervised approachearxiv.org1. Introduc..

https://arxiv.org/abs/2403.17804 Improving Text-to-Image Consistency via Automatic Prompt Optimization Impressive advances in text-to-image (T2I) generative models have yielded a plethora of high performing models which are able to generate aesthetically appealing, photorealistic images. Despite the progress, these models still struggle to produce images th arxiv.org 1. Introduction 기존의 T2I 모델들은..

주재걸 교수님의 DAVIAN Lab에서 진행하는 computer vision study를 청강하게 되었다. 최신 논문들을 다루는 것 같아서 따라가기 힘들겠지만 최대한 스터디 전에 간단하게 어떤 논문인지 맛보고 스터디 청강을 해야겠다는 생각이 들었다. 그래서 이 스터디에서 읽을 논문들은 최대한 어떤 논문인지 간단하게만 정리해보려고 한다. 이번 주의 논문은 "VAR"이다. https://arxiv.org/abs/2404.02905

다음주에 있을 멘토님 피드백을 대비해 어느 정도는 우리의 프로젝트가 틀이 잡혀야 했다. 그래서 나를 제외한 두 분은 product serving에 엄청 열중해 주셨다. 나는 ControlNet으로 옷 이미지 생성을 고도화 하는 것에 집중했다. Llava 이용 프로젝트에서 처음에 사용한 Multimodal VITON-HD 데이터셋은 https://arxiv.org/pdf/2304.02051.pdf에서 소개된 데이터 셋이다. 하지만 이 데이터셋을 보면 옷에 대한 설명인 text데이터가 만족스럽지 않다고 판단했다. 색에 대한 정보가 부족하다거나 여러 색을 지닌 옷이면 multicolor라는 단어로 퉁치는? 경우가 대부분으로 보여졌다. 그래서 나는 image captioning이나 vqa를 통해 옷 이미지에 대..

1주차에는 데이터 수집하고 제작하고 클랜징을 주로하면서 ControlNet 논문을 읽고 공식 깃헙에 있는 튜토리얼을 진행하면서 ControlNet이 뭔지를 익혔었다. 이번 주에는 이제 우리의 데이터로 ControlNet을 학습시키기 시작했다. 이 부분은 내가 전담으로 맡아서 했다. 처음 계획은 아무것도 건들이지 않고 custom 데이터셋으로 학습시키고 결과를 지켜보면서 데이터를 수정하고 모델을 잘 학습시키기 위한 여러 기법(DreamBooth, LoRA 등)을 논문을 읽어보고 직접 적용해서 우리의 서비스에 맞게 finetuning을 해나가는 것이었다. 당연히 데이터셋만 바꾸면 될 줄 알았기에 금방 실험을 진행할 수 있을 줄 알았다... 튜토리얼 데이터로 진행된 학습 Diffusers를 이용해서 다들 di..

앞서 최종 프로젝트 준비 기간을 포스팅 했다. 준비 기간 동안 팀원 각자의 역할을 정하고 프로젝트 주제를 확정짓고 우리가 쓸 모델들을 리서치하고 데이터를 리서치했었다. 그러고 우리의 계획에 대해 멘토님께 설명해 드리고 피드백을 받았다. 멘토님의 피드백을 받고 주제를 어떻게 수정할지, 우리의 문제점을 어떻게 보완할지 고민을 했었다. 주제의 큰 틀을 변화시키지 않으면서 문제점을 수정하기 위해 나는 새로운 주제를 제안했다. 기존 쇼핑몰 사용자를 위한 서비스가 아닌 디자이너를 위한 서비스! 기존 주제는 문제점으로는 virtual try on 모델을 학습시키가 까다롭고 학습 시키기 위한 데이터를 찾고 제작하는게 쉽지 않다는 것이 있었고, 이 때문에 그냥 모델을 가져다 쓰는게 끝인 프로젝트였다. 그래서 내가 생각한..

이번 포스팅을 통해 네이버 부스트캠프 ai tech에서 최종 프로젝트를 진행하면서 내가 어떻게 진행했는지 정리하려고 한다. 이런 프로젝트가 처음이다 보니 프로젝트를 진행하면서 겪었던 것들과 배운 것들, ... 등등을 정리할 겸 포스팅을 해야겠다고 마음을 먹었다. 주제 우리 팀의 주제는 팀을 모을 때부터 virtual try-on이었다. 온라인에서 옷을 쇼핑할 때 옷을 직접 입어보지 않아도 나와 어울리는지를 볼 수 있게 돕는 서비스라고 보면 된다. 우리는 단순히 옷만 입히는 것이 아니라 모션도 생성해서 움직이는 것까지 보여줌으로써 우리만의 $+\alpha$를 보여주자라는 생각으로 프로젝트 주제를 선정했다. Vitual Try On Model + Pose Generation Model 팀 내 역할 팀 내에서..