딥페이크 AI OmniHuman-1 소개 (Feat.바이트댄스) 안녕하세요~ 부루퉁입니다. 틱톡을 서비스하고 있는 중국의 IT 기업 바이트댄스의 연구진들이 딥페이크 기술 'OmniHuman-1'을 공개했습니다.
이번 OmniHuman-1 모델은 기존의 Loopy 모델보다 더욱 자연스러운 움직임과 립싱크, 손동작과 전신 움직임을 생성해 주는데요. 공개된 영상을 하나 함께 보고, 핵심기술에 대해 살펴보겠습니다.
표정과 말하는 입술, 손동작 아무것도 모르고 보면 진짜 생전 아인슈타인의 영상이라고 착각할 정도입니다. OminHuman-1: 핵심기술 OmniHuman-1은 텍스트+오디오+포즈 등의 여러 조건을 동시에 학습하도록 설계되었습니다.
위 이미지처럼 포즈와 오디오의 비율을 조정해 단계적으로 모델을 학습시킵니다. 그러면 특정 조건에 편향되지 않으면서 자연스러운 움직임을 생성할 수 있죠.
그리고 OmniHuman-1은 Diffusion 모델과 Transformer를 결합한 구조를 사용합니...
