• 코드: https://github.com/openai/point-e

<aside> 💡 핵심 요약

• 관련 태스크: text-to-3D, point cloud generation
• 본 논문의 접근 방식
  • Text-to-image 모델과 image-to-3D 모델을 결합하여 두 방법의 장점을 합쳤다.
    • Text-to-image: 대규모 데이터가 존재하여 복잡하고 다양한 텍스트 프롬프트에 대해 적용 가능하다.
    • Image-to-3D: 소규모의 이미지 데이터와 3D 데이터 쌍에 대해 학습하여 3D 포인트 클라우드를 생성한다.
  • 세 단계의 프로세스로 구성됨
    • Text → 합성 뷰: GLIDE 모델
    • 합성 뷰 → 저해상도 포인트 클라우드: 트랜스포머 기반의 디퓨전 모델
    • 저해상도 포인트 클라우드 → 고해상도 포인트 클라우드: 트랜스포머 기반의 디퓨전 모델
• 결과
  • 샘플 품질 측면에서 SOTA 성능이 아니지만, 샘플링 속도가 1~2배 더 빠르다.
  • 텍스트 프롬프트에 의해 조건화된 다양하고 복잡한 3D 형상을 효율적으로 생성할 수 있다. </aside>

Abstract

• 제안 배경
  • 최근 텍스트 조건부 3D 객체 생성 기술(text-conditional 3D object generation)이 놀라운 발전을 보이고 있다.
  • 하지만, SOTA 모델들은 여전히 하나의 샘플을 만들기 위해 여러 GPU 시간을 요구하고 있다.
  • 본 논문에서는 단일 GPU에서 1~2분만에 3D 모델을 생성하는 3D 객체 생성을 위한 방법을 탐색한다.
• 접근법
  • 텍스트-이미지 디퓨전 모델을 사용하여 단일 합성 뷰를 생성한 다음 두 번째 디퓨전 모델을 사용하여 3D 포인트 클라우드를 생성한다.
• 결과
  • 샘플 품질 측면에서 SOTA 성능이 아니지만, 샘플링 속도가 1~2배 더 빠르다.

1. Introduction

• Text-to-image 생성 모델에서 text-to-vide/3D로의 발전

  • 최근 text-to-image 생성 모델이 폭발적으로 증가함에 따라 몇 초만에 자연어에서 고품질 이미지를 생성하고 수정할 수 있게 되었다.
  • 이러한 결과에 영감을 받아 최근 연구에서는 비디오나 3D 객체와 같은 다른 도메인에서의 텍스트 조건부 생성을 탐색하고 있다.
  • 본 논문도 text-to-3D 생성 문제에 중점을 둔다.

• 최근 text-to-3D 합성의 분류

  • 최근 text-to-3D 합성은 일반적으로 다음의 두 카테고리 중 하나에 속한다.
    1. 쌍을 이룬(paired)(ex: text, 3D) 데이터 또는 레이블이 없는(unlabeld) 3D 데이터에서 생성 모델을 직접(directly) 학습 시키는 방법
       1. 장점: 기존 생성 모델링 접근 방식을 활용하여 샘플을 효율적으로 생성할 수 있다.
       2. 단점: 규모 3D 데이터셋이 없기 때문에 다양하고 복잡한 텍스트 프롬프트로 확장하기 어렵다. → 데이터셋의 한계, 확장성의 어려움
    2. 사전 학습된 text-to-image 모델을 활용하여 미분가능한(differentiable) 3D 표현법들(representations)을 최적화하는 방법
       1. 장점: 복잡하고 다양한 텍스트 프롬프트를 처리할 수 있다.
       2. 단점:
          1. 각 샘플에 대해 최적화 과정을 거쳐야 하기 때문에 계산 비용이 많이 들고 시간이 오래 걸릴 수 있다. 샘플을 생성하는 데 비용이 많이 드는 최적화 프로세스가 필요하다.
          2. 강력한 3D prior가 없기 때문에 의미 있거나 일관된 3D 개체에 해당하지 않는 local minima에 빠질 수 있다.

• 본 논문의 접근법

  

  • Text-to-image 모델과 image-to-3D 모델을 결합하여 두카테고리의 장점을 합치는 것을 목표로 한다.
    • 본 논문의 text-to-image 모델
      • 대규모(텍스트, 이미지)쌍 데이터를 활용하여 다양하고 복잡한 프롬프트를 따를 수 있게 한다.
      • 3D 렌더링에 대해 파인튜닝된 GLIDE 버전을 사용한다.
    • 본 논문의 image-to-3D 모델
      • 소규모의(이미지,3D)쌍 데이터로 학습된다.
      • RGB 포인트 클라우드를 생성하는 디퓨전 모델의 스택을 사용한다. (새로운 transformer 기반 아키텍처 사용)
      • 생성된 포인트 클라우드에서 메쉬를 생성하기 위해 회귀 기반(regression-based) 접근 방식을 사용한다.
  • 먼저 text-to-image 모델을 사용하여 이미지를 샘플링하고, 샘플링된 이미지를 조건으로 넣어 3D 객체를 샘플링한다.
  • 이 두 단계 모두 몇 초 내에 수행될 수 있으며, 비용이 많이 드는 최적화 과정을 필요로 하지 않는다.

• 본 논문의 결과

  • 간단한 텍스트 프롬프트뿐만 아니라 복잡한 텍스트 프롬프트와도 일치하는 컬러 3D 포인트 클라우드를 생성할 수 있었다.

  → 포인트 클라우드를 효율적으로 생성한다는 의미에서 본 논문의 시스템을 Point E라고 명칭하였다.

2. Background

• 디퓨전 모델 개요:
  • 점진적으로 Gaussian 노이즈를 추가하는 과정을 통해 데이터를 변형한다.
  • 본 논문에서는 Ho et al. (2020)의 Gaussian 확산 설정을 따른다.
• 노이즈 프로세스
  • 노이즈 프로세스는 시간 단계 t마다 신호에 Gaussian 노이즈를 추가한다.
  • 최종 단계에서는 샘플이 거의 정보를 포함하지 않게 된다.
• 역 노이즈 프로세스
  • 랜던 가우시안 노이즈 $x_T$에서 시작하여 점진적으로 노이즈 프로세스를 역으로 진행하여 잡음이 없는 샘플 $x_0$에 도달할 수 있다.
• 모델 학습
  • q(xt−1|xt)를 신경망 pθ(xt−1|xt)로 근사하여 학습한다.
  • Nichol & Dhariwal (2021)은 평균뿐만 아니라 분산도 예측하여 더 나은 성능을 얻었다.
• 샘플링
  • 디퓨전 샘플링은 미분 방정식 관점에서 설명될 수 있으며, 이를 통해 다양한 SDE 및 ODE 해석기를 사용하여 이러한 모델에서 샘플링할 수 있다.
  • 본 논문에서는 Karras et al. (2022)의 2차 ODE 해석기를 사용한다.
• 가이드 전략
  • Dhariwal & Nichol (2021)은 분류기 가이던스(classifier guidance)를 도입하여 생성 충실도를 높였다.
  • Ho & Salimans (2021)은 분류기 없는 가이던스(classifier-free guidance)를 도입하여 조건부 정보를 무작위로 삭제한다.
  • 본 논문에서는 학습 시 드롭 확률 0.1을 사용하여 이 기술을 적용한다.

3. Related Work