평범한 필기장

Project Page : https://style-aligned-gen.github.io/ StyleAlignStyle Aligned Image Generation via Shared Attention CVPR 2024, Oral Amir Hertz* 1 Andrey Voynov* 1 Shlomi Fruchter† 1 Daniel Cohen-Or† 1,2 1 Google Research 2 Tel Aviv University *Indicates Equal Contribution †Indicates Equal Advising [Paper]    style-aligned-gen.github.ioPaper : https://arxiv.org/abs/2312.02133 Style Aligned Image Ge..

Paper | Github | Project Page Prompt-to-PromptPrompt-to-Prompt Image Editing with Cross-Attention Control Amir Hertz1,2 Ron Mokady1,2 Jay Tenenbaum1 Kfir Aberman1 Yael Pritch1 Daniel Cohen-Or1,2 1 Google Research   2 Tel Aviv University Paper      Code Abstract Recent large-scale text-driven synprompt-to-prompt.github.io1. Introduction 기존의 large-scale language-image (LLI) 모델들은 image editing 능력이 ..

https://arxiv.org/abs/2207.12598 Classifier-Free Diffusion GuidanceClassifier guidance is a recently introduced method to trade off mode coverage and sample fidelity in conditional diffusion models post training, in the same spirit as low temperature sampling or truncation in other types of generative models. Classifier garxiv.org1. Introduction Clasiifier Guidance는 학습된 classifier를 이용해..

1. Introduction 기존 diffusion models는 LSUN과 ImageNet과 같은 어려운 generation에서는 GAN (BIgGAN-deep)에 경쟁이 되지 않는 FID score를 냈다. 본 논문에서 diffusion models와 GANs사이의 차이는 (1) 최신 GAN의 architecture는 고도로 연구되고 refine되었다는 것과 (2) GANs는 다양성을 fidelity로 맞바꿀 수 있다는 것이다. 본 논문에서는 이 두 가지의 이점을 가져오는 것을 목표로 한다. (1)은 모델 아키텍쳐를 향상시킴으로써 (2)는 다양성을 fidelity로 맞바꾸는 계획을 구상함으로써 해결하려한다. 이를 통해 몇 개의 metric과 dataset에서 GAN을 뛰어넘는 sota를 달성했다고 한..

이번에 리뷰할 논문은 DDIM 이다. 붓캠 기간동안 진행한 diffusion 스터디의 마지막 논문이였는데, 이 논문을 읽는 기간이 최종 프로젝트때문에 한창 정신이 없을 기간이어서 제대로 집중해서 읽지 못했었다. 그래서 최종 프로젝트를 제출하고 다시 읽고 리뷰를 남겨야지라고 미루다가 이제야 리뷰를 하게 됐다. https://arxiv.org/pdf/2010.02502.pdf 0. Abstract DDPM은 높은 수준의 이미지 생성할 수 있다. 그렇지만 이미지를 생성하려면 많은 스텝을 거쳐야한다. 그래서 DDPM과 동일한 training 절차를 거치지만 더 효율적인 DDIM을 제안한다. 본 논문은 DDPM을 non-Markovian diffusion 프로세스를 통해 일반화한다. 이러한 non-Markovia..

이번에 리뷰할 논문은 그 유명한! DDPM! Diffusion의 기초 논문들은 확실하게 이해하고 넘어가는 것이 좋다는 멘토님의 조언에 따라 이번 ddpm도 시간은 오래 걸리겠지만 최대한 꼼꼼하게 읽어서 자세히 리뷰하는 것을 목표로 포스팅을 할 것이다. 이전 NCSN논문도 꼼꼼하게 했다고 생각하지만 아직 100프로 이해했다고 자부할 수 없었다. 그래서 ddpm도 100프로는 아니지만 70,80프로를 넘어 90프로는 이해하자는 목표로 공부했다. https://arxiv.org/pdf/2006.11239.pdf 그럼 이제 논문 리뷰를 시작하겠다. 1. Introduction 이 논문에서는 diffusion probablilistic model (diffusion model)의 진전을 소개한다고 한다. Diff..

이번에는 Diffusion에 제대로 도전해보자! 하는 마인드로 Diffusion 논문들도 블로그에 올리기로 다짐했다. 그래서 첫 논문으로 NCSN을 들고 왔다. 스터디해보면서 엄청 벽을 느낀 논문들이지만 다시 읽고 제대로 이해해서 넘어갈겸 포스팅에 도전했다. https://arxiv.org/pdf/1907.05600.pdf 1. Introduction 1.1 기존 생성모델들의 단점 기존 생성모델들은 각 모델들마다 단점을 지닌다. 예를 들면 likelihood-based 모델은 autoregressive model이나 flow model과 같이 정규화된 확률 모델을 구축하기 위해 특수 아키텍처를 사용하거나 학습을 위해 VAE에서의 ELBO와 같은 surrogate loss를 사용해야 한다. 그리고 GAN ..