평범한 필기장

이번에 리뷰할 논문은 그 유명한! DDPM! Diffusion의 기초 논문들은 확실하게 이해하고 넘어가는 것이 좋다는 멘토님의 조언에 따라 이번 ddpm도 시간은 오래 걸리겠지만 최대한 꼼꼼하게 읽어서 자세히 리뷰하는 것을 목표로 포스팅을 할 것이다. 이전 NCSN논문도 꼼꼼하게 했다고 생각하지만 아직 100프로 이해했다고 자부할 수 없었다. 그래서 ddpm도 100프로는 아니지만 70,80프로를 넘어 90프로는 이해하자는 목표로 공부했다. https://arxiv.org/pdf/2006.11239.pdf 그럼 이제 논문 리뷰를 시작하겠다. 1. Introduction 이 논문에서는 diffusion probablilistic model (diffusion model)의 진전을 소개한다고 한다. Diff..

이번에는 Diffusion에 제대로 도전해보자! 하는 마인드로 Diffusion 논문들도 블로그에 올리기로 다짐했다. 그래서 첫 논문으로 NCSN을 들고 왔다. 스터디해보면서 엄청 벽을 느낀 논문들이지만 다시 읽고 제대로 이해해서 넘어갈겸 포스팅에 도전했다. https://arxiv.org/pdf/1907.05600.pdf 1. Introduction 1.1 기존 생성모델들의 단점 기존 생성모델들은 각 모델들마다 단점을 지닌다. 예를 들면 likelihood-based 모델은 autoregressive model이나 flow model과 같이 정규화된 확률 모델을 구축하기 위해 특수 아키텍처를 사용하거나 학습을 위해 VAE에서의 ELBO와 같은 surrogate loss를 사용해야 한다. 그리고 GAN ..