[평범한 학부생이 하는 논문 리뷰] A Geometric Framework for Understanding Memorization in Generative Models (ICLR 2025)

Paper : https://arxiv.org/abs/2411.00113

A Geometric Framework for Understanding Memorization in Generative Models

Abstract

본 논문은 memorization 현상을 더 잘 이해하기 위해서, manifold memorization hypothesis(MMH)를 제안한다. 본 논문은 GT data manifold와 모델에 의해 학습된 manifold의 dimensionalities사이의 관계의 관점에서 memorization을 분석하는 것을 제안한다. 이 framework는 datapoint가 어떻게 memorize되는지에 대한 formal standard를 제공하고 memorized data를 두 종류로 분류한다 : overfitting에 의한 memorization, 근본적인 data distribution에 의한 memorization

1. Distribution

본 논문에서, memorization을 설명하는 geometric framework인 MMH를 도입한다. 요약해서, 생성모델에 의해서 학습된 manifold가 $x$를 포함하는데 $x$에서의 dimensionality가 너무 작을 때, $x \in \mathbb{R}^d$에서 memorization이 발생한다는 것을 제안한다. 이전 연구는 처음으로 DMs가 $\mathbb{R}^d$에서 low-dimensional structure를 학습할 수 있고, 이 manifold learning 능력은 memorization의 driver라는 것을 보였다. 이 관점에서, 본 논문은 이 connection을 general framework로 확장하고 경험적인 finding에서 이를 지지하고 memorization에 대한 최근 연구와 이를 연결한다.

2.  Understanding Memorization Through LID

Preliminaries

본 논문은 $\mathcal{M}$는 다른 구역에서 다른 dimensionality를 가진다는 일반화된 manifold의 정의를 취한다. 특히, 본 논문은 ground truth distribution $p_*(x)$와 model $p_\theta(x)$가 manifolds에서 sample을 생성하고, 이 manifold들을 $\mathcal{M}_*, \mathcal{M}_\theta$라고 한다.

본 논문의 memorization을 이해하기 위한 framework는 point의 local intrinsic dimension (LID)의 개념을 중심으로 한다. Manifold $\mathcal{M}$와 a point $x \in \mathcal{M}$가 주어지면, $LID(x)$를 $x$에서 $\mathcal{M}$의 dimensionality로 정의한다. 본 논문에서는 두 특정한 manifold $\mathcal{M}_*, \mathcal{M}_\theta$에 대해서 $x \in \mathbb{R}^d$의 LIDs인 $LID_*(x), LID_\theta(x)$를 주로 고려한다.

Intuition and the Manifold Hypothesis

Manifold structure $\mathcal{M} \subset \mathbb{R}^d$는 constraint들의 집합으로부터 발생한다. 이러한 constraint들은 간단한 것 부터, 매우 복잡한 것 까지 다양하다. $l$개의 독립적이고 active한 constraint들에 의해 지배되는 region은 $LID(x) = d - l$의 dimensionality를 가진다. $LID(x)$의 값은 자유도의 수로 직관될 수 있다. FLIPD와 normal bundle(NB) method와 같이 complexity와 연관도 있다.

A Geometric Framework for Understanding Memorization

본 논문은 $LID_*(x), LID_\theta(x)$사이의 비교를 기초로 memorization을 이해하는 framework를 세운다.

Figure 1(a)는 model $p_\theta(x)$가 정확히 몇 training data를 memorize해 이러한 training datapoint가 정확히 reproduce된다. 이를 달성하기 위해서, model은 이러한 datapoint들 주변의 0-dimensional manifold를 학습했다. 이 예시로부터, 본 논문은 $LID_\theta(x) = 0$일 때 $x$가 정확히 reproduce된다고 추론한다.

위의 예시와 같이 정확히 똑같은 이미지를 reproduce하지는 않지만 training 이미지의 특징들을 memorize하는 경우도 있다. 이러한 경우를 reconstructive memory, template verbatims라고 한다. 이러한 지점들의 $x \in \mathcal{M}_\theta$의 구역에서, model은 몇몇 특징에 대해서는 자유도를 가지고 이미지를 생성할 수 있지만, 몇몇 특징들에서는 매우 constrained된다. 기하학적으로 $\mathcal{M}_\theta$는 이상적인 ground truth manifold $\mathcal{M}_*$에 비교해서 매우 제한된다. ($LID_\theta(x) < LID_*(x)$) Figure 1(b)가 이러한 경우를 나타낸다.

Two types of Memorization

Figure 1(a),(b)에 나타난 경우는 overfitting-driven memorization (OD_Mem)라고 부르며, 이 경우는 $p_\theta(x)$가 $p_*(x)$를 정확하게 일반화 하지 못해서 modelling failure를 나타낸다.

Trademark되거나 사적인 정보를 가지는 어떤 point $x \in \mathcal{M}_*$에 대해서, $LID_\theta(x) = LID_*(x)$일지라도 $LID_\theta(x)$의 낮은 값은 고려 대상이다. 이는 이러한 정보가 이런 지역으로부터 생성된 sample들에서 드러날 수 있기 때문이다. 본 논문에서 이러한 경우를 data-driven memorization (DD-Mem)라고 부른다. 이러한 경우는 Figure 1(d),(e)에 나타난다. OD-Mem과 다르게, DD-Mem은 overfitting이 아니다. 그리고 주목할 결과는 training과 test likelihood를 비교함으로써 detect될 수 없다. 본 논문은 OD-Mem과 DD-Mem을 통해 LIDs가 어떻게 memorization과 연관되는지의 conceptualization을 manifold memorization hypothesis라고 부른다.

Figure 1(c)는 no memorization을 나타내는데, 이 경우는 model manifold $\mathcal{M}_\theta$가 ground truth manifold $\mathcal{M}_*$와 매칭되고 둘 다 충분히 큰 LID를 가진다. MMH는 manifold $\mathcal{M}_\theta$는 data manifold $\mathcal{M}_*$와 rough하게 align되는 high-performing model을 가정한다.

Why is the MMH useful?

MMH는 실제로 high-dimensional data에 대해서 memorization이 실제로 어떻게 발생하는지에 대한 가설이다.

 

1. 이전의 memorization에 대한 이론적인 frameworks는 probability mass에 집중하는 반면, 본 논문의 geometric perspective는 더 practical tool을 이끈다. MMH는 $LID_\theta(x)$를 통해 memorization은 detection될 수 있다는 것을 제안한다.

2. MMH는 reconstructive memorization 현상을 설명하고 quantify할 수 있다. 기존의 distance를 통한 memorization 정의는 reconstructive memorization을 capture할 수 없다. 본 논문의 framework는 모델과 data manifold의 관계에서 memorization을 설명함으로써 이 문제를 해결한다.

3. MMH는 OD-Mem과 DD-Mem를 구분한다. 

4. OD-Mem과 DD-Mem 사이를 정의하고 구분짓는 것은 각각에 대한 즉각적인 solution을 제안한다. 

3. Explaining Memorization Phenomena

본 논문은 MMH가 어떻게 memorization phenomena를 설명하는지 보임으로써 MMH의 설명력을 증명한다. 이 섹션은 본 논문의 geometric framework의 두가지 이점을 증명한다.

1. 표면상으로 이질적인 observation에 대한 통합적인 관점을 제공한다.

2. MMH는 memorization을 measure theory와 geometry의 부유한 이론적 toolboxes에 연결한다.

Duplicated Data and LID

복제된 datapoint는 DD-mem을 야기한다 : 복제된 points $x_0$는 $LID_*(x_0) = 0$를 나타낸다. 그래서 correctly fitted model도 $LID_\theta(x_0) = 0$를 가진다.

이러한 결과로부터, model generalization을 향상시키는 것은 duplication에 대한 solution이 아니다. 대신에 $p_\theta(x)$가 0-dimensional point를 학습하는 것으로부터 막는 inductive bias를 더할 필요가 있다. 물론 더 간단한 방식은 training dataset을 de-duplicate함으로써 data distribution $p_*(x)$를 바꾸는 것이다. 본 논문은 'near-duplicated content'에 대해서 동일한 직관을 가진다.

Conditioning and LID

본 논문은 conditioning이 LID를 감소하고 이는 memorized sample을 더 생성하게 만든다고 지적한다.

매우 특정한 $c$에 대한 conditioning은 DD-Mem과 OD-Mem 모두에 연관될 수 있다. 강한 제약을 도입하는 것은 $LID_*$를 크게 감소시키고 이는 DD-Mem을 야기한다. 그러나 만약 trianing example의 상대적으로 적은 수가 $c$를 만족하면, model이 overfitting할 수 있어 이는 OD-Mem또한 야기한다.

Complexity and LID

LID가 conplexity와 상응한다는 것을 이용해서, 본 논문은 low-complexity datapoints $x \in \mathcal{M}_*$는 낮은 $LID_*(x)$를 가진다는 것을 추론한다. 이 사실은 low-complexity datapoint의 memorization은 DD-Mem의 예시라는 것을 제안한다.

The Classifier-Free Guidance Norm and LID

Classifier-Free Guidance(CFG)는 다음과 같다.

기존 연구는 CFG vector가 큰 값을 가질 때, 특정한 conditioning inputs $c$는 memorized samples을 야기하는 것을 확인했다. 본 논문은 MMH를 이용해 이 observation을 설명한다. 먼저, 큰 CFG magnitude는 일반적으로 큰 CFG-adjusted score $s^{CFG}_\theta(x;t,c)$를 가져온다.

 

본 논문은 이를 위 이미지와 같이 보인다. 게다가, 큰 $\Vert s^{CFG}_\theta(x;t,c)$와 $t \rightarrow 0$에 따라 이것의 explosion은 흔히 high-dimensional data에 대해 흔하고 low-dimensional manifolds로부터 sample들을 생성하는 것에 필요하다. 이런 폭발은 data manifold와 ambient data space 사이의 dimensionality gap이 증가할수록 빠르게 발생한다는 것이 경험적으로 관찰됐다. 이는 lower-dimensional latent space에 대한 generative modeling이 performance를 향상시키는 경향이 있다는 이유 중 하나이다. 가장 큰 $\Vert s^{CFG}_\theta(x;t,c)\Vert$ 값은 $\mathbb{R}^d$로부터 가장 큰 dimensionality difference를 가진 point (가장 작은 $LID_\theta(x|c)$를 가진 point $x$)를 생성해야한다. 이러한 이유로 본 논문은 CFG-adjusted score norm을 줄이는 것은 $LID_\theta(x|c)$를 증가시키고 memorization을 감소시켜야한다고 추론한다. 이 현상은 작은 $LID_\theta(x|c)$를 가진 어떤 $x$에도 대응되기 때문에, MMH하에서 OD-Mem과 DD-Mem 모두를 지시한다.

4. Experiments

4.1 Verifying the Manifold Memorization Hypothesis

이번 섹션에서, 본 논문은 MMH를 지지하는 geometric framework를 경험적으로 검증한다. 본 논문은 DD-Mem과 OD-Mem을 연구하기 위해서 $LID_*, LID_\theta$ 모두를 분석한다. 이를 측정하기 위해서 normal bundle (NB) method, FLIPD, LPCA등의 estimator들을 이용한다. $LID_\theta, LID_*$의 추정값을 $\widehat{LID}_\theta, \widehat{LID}_*$라고 칭한다.

Diffusion Model on a von Mises Mixture

Figure 4(Top)에서 모든 점 $x \in \mathcal{M}$은 $LID_*(x) = 0, LID_*(x) = 1$를 가진다. 이 분포에서 100개의 점을 샘플링하고 우연히 $x_0$가 뽑혔다고 하자. 이 데이터로 DM을 학습시키고 FLIPD로 LID를 추정하면 Figure 4(Bottom)이 나온다. 그 결과 모델은 $x_0$에 overfitting된다. ($0 \approx \widehat{LID}_\theta(x_0) < LID_*(x_0) = 1 \ \rightarrow$ OD-Mem) 또한 모델은 원의 중심에 대한 copy들을 충실히 생성한다. 이는 modelling error가 아닌 ground truth LIDs가 낮기에 발생한다.(DD-Mem)

CIFAR10 Memorization

iDDPM과 StyleGAN2-ADA를 이용해 50,000개의 sample을 생성해 SSCD와 calibrated $l_2$distance를 통해 memorized sample, reconstructively memorized sample, not memorized sample로 나눴다.

Figure 5(b),(c)에서 볼 수 있듯이 두 모델 모두에 대해 $\widehat{LID}_\theta$의 값은 exact memorization에서 낮은 값을 가진다. Figure 5(d)에서 볼 수 있듯이, exact memorization에 대한 $\widehat{LID}_*$또한 낮기 때문에 두 모델에 대한 exact memorization은 DD-Mem에 대응된다. 대응되는 training data는 comparable $\widehat{LID}_*$를 가짐에도 불구하고, Figure 5(b)에서 reconstructively memorized sample들은 not-memorized sample들에 비해 낮은 $\widehat{LID}_\theta$를 보인다. $LID_\theta$ estimates는 여전히 이러한 샘플들을 memorized로 분류할 수 있는데, 이는 OD-Mem을 감지하는 명백한 예시를 보여준다.

본 논문은 LID estimates가 OD-Mem과 DD-Mem 모두를 detecting하는데 효과적이고 이는 MMH 가설을 지지한다. 그러나 더 간단한 이미지는 더 종종 memorize되는 경향을 가지는 반면, 항상 memorize되지는 않는다. 이는 memorized와 not memorized sample사이의 추정된 $LID_\theta$에서의 overlap을 이끈다. 이 overlap은 이미지 복잡도가 복합적인 요소로 작용하기 때문에 발생한다. 간단한 배경과 texture의 이미지는 memorization 때문이 아니라 내재적인 simplicity 때문에 낮은 $LID_\theta$값이 할당된다.

Stable Diffusion on Large-Scale Image Datasets

$p_\theta(x)$를 Stable Diffusion v1.5로 셋팅한다. 기존 연구에서 "matching verbatim"으로 분류된 86개의 memorized image를 사용한다. 

Stable Diffusion에서의 $LID_*$에 대한 estimator가 없기 때문에, 이는 분석에서 제외한다. 또 FLIPD가 유일한 $LID_\theta$ estimator이기 때문에 이를 사용한다. Stable Diffusion은 unconditional distribution $p_\theta(x)$와 conditional distribution $p_\theta(x|c)$를 제공하기 때문에, $\widehat{LID}_\theta, \widehat{LID}_\theta(\cdot|c)$ 모두를 계산한다. 게다가 기존의 연구에서 처럼 CFG vector의 norm또한 계산한다. 본 논문은 실험에서 local intrinsic dimension에 대한 세 개의 proxy를 사용한다.

$LID_\theta$에 대한 모든 proxy들은 memorized sample들에 대해서 낮은 LID를 보인고 이는 MMH를 입증한다. $LID_*$를 구할 수 없어서 DD-Mem과 OD-Mem을 구분하는 것은 힘들다. CFG vector norm이 가장 강한 signal로 보이지만, caption에 대한 정보가 부족함에도 unconditional LID는 memorization을 감지한다.

4.2 Mitigating Memorization by Controlling $LID_\theta$

이 섹션에서, 본 논문은 MMH을 통해 sample-time mitigation의 문제를 연구한다. 기존의 연구는 accumulated CFG vector norm을 기반으로 한 metric인 $\mathcal{A}^{CFG}(c)$를 제안한다.

본 논문은 각각 $\Vert s^{CFG}_\theta(x;t,c) \Vert$와 FLIPD를 이용한 $\mathcal{A}^{CFG}(c)$에 대한 modification인 추가적인 두개의 metric $\mathcal{A}^{s_\theta^{CFG}(c)}, \mathcal{A}^{FLIPD}(c)$를 제안한다. 이 두 metric 또한 $c$에 대해서 미분 가능하기 때문에 $\mathcal{A}^{CFG}(c)$를 대체할 수 있다. 또한 본 논문은 sample-time mitigation scheme에 이 방식으로부터 token attributions을 사용하는 automated 방식을 제안한다.

1. 토큰 기여도(Attributions) 정규화
2. 정규화된 값 기반으로 kkk개의 토큰 샘플링
3. GPT-4를 사용해 해당 토큰을 의미를 유지하면서 재구성
4. 새로운 프롬프트로 이미지 생성

 

Figure 7(b)의 위 표를 보면 $\mathcal{A}^{FLIPD}(c)$로부터 얻은 token attribution이 민감한 것을 볼 수 있다. 또한 Figure 7(a)를 보면 모든 attribution-based method는 lower similarity를 보이면서 상대적으로 높은 CLIP score를 보인다.

전체적으로, Figure 7의 결과는 sample들이 더 높은 LID를 가지도록 하는 것이 memorization을 예방하는 것을 보이고 CFG vector norm, CFG-adjusted score norm, LID 사이의 관계를 확인함으로써 MMH를 지지하는 증거를 제공한다. 

5. Conclusions, Limitations, and Future Work

본 논문은 DGM의 geometry와 memorize하려는 경향 사이의 connection을 MMH를 분석한다.

1. LID의 개념은 다른 종류의 memorization을 이해하는데 systematic한 방식을 제공한다.
2. 본 논문은 기존의 work에 의해 설명된 memorization 현상이 LID의 관점에서 어떻게 이해될 수 있는지 설명한다.
3. 데이터의 scale과 모델의 class에 따라 MMH를 경험적으로 입증한다.
4. $LID_\theta$를 controll하는 것이 memorization을 완화하는 유망한 방식이라는 것을 보인다.

본 논문은 몇몇 memorization 예시는 DM의 generalize에 대한 inability(OD-Mem)때문인 반면에 다른 것들은 low-LID ground truth(DD-Mem)때문이라는 insight를 포함해서 몇몇 connection을 제공한다.

$LID_\theta$에 대한 추정은 memorized와 non-memorized sample 사이에 overlap을 가진다는 것과 $\mathcal{A}^{FLIPD}(c)$를 이용한 memorization mitigation은 $\mathcal{A}^{CFG}(c)$와 동등하지만 이를 능가하지는 않는다. 이러한 부분에서 더 발전 가능하다.

Appendix

$\mathcal{A}^{FLIPD}(c)$를 증가시키는 방향으로 $c$를 optimize해서 memorization mitigation을 진행했다. 특정 range에서는 memorization이 완화되지만, 인공적으로 $LID_\theta(\cdot|c)$를 증가시켜서 과도하게 chaotic tecture를 도입한다. 본 논문에서는 future work을 통해 다른 scheduling을 사용해 $c$의 optimization process를 안정화할 수 있을 것이라고 말한다.