• Title: Animate Anyone
• Reference
  • Paper: https://arxiv.org/abs/2311.17117
  • Code:
    • Official
    • NonOfficial
  • Project Page :
• Author: Geonhak Song
• Last updated on {March. 13, 2024}

Animate Anyone(23.11)

Abstract

• Diffusion 모델들이 visual generation 연구에 주류가 되었지만, image-to-video 영역에서는 어려움이 있다. 특히, character animation에서 캐릭터의 상세 정보의 일관성을 유지하는 것은 큰 문제이다.
• reference image의 복잡한 appearance 특징의 일관성을 유지하기 위해서 spatial attention feature과 통합할 ReferenceNet 설계
• controllability와 continuity을 위해서 효과적인 pose guider 도입.
• 비디오 프레임간 부드러운 전이를 위해 효과적인 effective temporal modeling 도입
• 이를 통해 어떠한 임의의 캐릭터에 대해서도 animate할 수 있고 우월성을 보임