VAE 특징

• Generative model

• 외형은 AutoEncoder와 동일함

  • AutoEncoder는 latent vector를 잘 얻기 위한 것이었지만 (encoder의 성능을 위해 decoder가 존재), latent vector가 특정 값
  • VAE는 데이터 생성을 잘 하기 위한 것 (decoder의 성능을 위해 encoder가 존재), latent vector가 확률 분포

• 변분추론(variational inference)을 오토 인코더의 구조를 통해 구현한 생성 모델

  • 변분추론: posterior probability distribution은 보다 단순한 확률분포로 근사하는 것

  $$ p(z|x)\approx p(z) $$

Generative model

• Training examples들에 데이터 분포를 구한다. 구한 데이터 분포에서 샘플링을 하여 데이터를 생성한다.

• 샘플링을 통해서 구한 $z$에 대해 generator 함수인 $g_\theta(.)$를 거쳐 target data $x$를 만들고자 한다.
• 이것은 $p(x)$를 최대화 하는 과정으로 볼 수 있고 p(x)는 marginal probability에 의해 아래의 식으로 표현 가능

$$ p(x|g_\theta(z)) = p_\theta (x|z) \text{이기 때문에..} $$

• 하지만, p(x)를 바로 최대화 하는 것은 어렵다. p(x)를 최대화 하기 위해서는 sampling 함수인 $g_\theta(z)$를 잘 찾아야 하는데, 이것을 잘 찾기가 어렵다.

Variational Inference

• 샘플링을 잘 하게 하기 위해 우리에게 주어진 데이터 x를 힌트로 줄 수 있음 → 즉, $p(z|x)$에서 샘플링을 하면 됨

• 하지만 $p(z|x)$가 뭔지 알 수 없음

• $p(z|x)$를 직접 알기 어려우므로, 일반적으로 알려진 확률 분포(ex: 가우시안 분포)중 하나를 택해서 ($q_\theta(z|x)$) 그것의 파라미터값을 조정하여 $p(z|x)$와 유사하게 만듬 → variational inference

  

p(x) 수식 전개 (objective function)