나는 스트리밍 플랫폼에서 번역된 오디오가 화면에 나타나는 배우의 얼굴에서 자연스럽지 않은 것을 많이 보았습니다. 이상하게 보일 뿐이고 더빙된 영화나 TV 프로그램을 보는 재미를 앗아갑니다. 나는 오디오와 표정 사이의 비동기성을 다루는 것보다 원본 오디오로 콘텐츠를 보고 번역된 캡션을 보는 것을 선호합니다. 아마존이 마침내 해결책을 찾았습니다.
회사는 AI와 VFX를 사용하여 배우의 입술 움직임을 동기화하여 다른 언어로 번역 및 더빙된 대화라도 자연스럽게 말하는 것처럼 보이도록 프라임 비디오에 새로운 립싱크 기술을 출시하고 있습니다. 이 기술은 Maxton Hall의 첫 번째 시즌과 두 번째 시즌에 처음 선보이고 있으며, 플랫폼에서 세 번째 시즌이 시작될 때도 사용될 예정입니다.
“이 기술은 배우의 입술 움직임을 사람이 더빙한 오디오와 동기화하여 관객이 스토리에 완전히 몰입할 수 있도록 하는 원활한 시청 경험을 제공합니다. AI 및 VFX 기술은 더 나은 고객 경험을 제공하기 위해 책임감 있게 적용되는 배후 프로세스를 지원합니다.”라고 Amazon은 말합니다. 현재 지원은 영어로만 제한됩니다.
고맙게도 Amazon은 가까운 미래에 더 많은 영화와 TV 프로그램에 AI 기반 립싱크 기술을 추가할 것이라고 확신합니다. 아마존은 더빙된 오디오와 인간의 입술을 동기화하려는 유일한 플랫폼이 아닙니다. 작년에 Digital Trends와의 독점 상호 작용에서 YouTube는 AI 기반 립싱크 기술을 사용하여 번역된 오디오가 인간의 얼굴에 자연스럽게 나타나는 방법에 대한 간단한 데모를 제공했습니다.
당시 YouTube 자동 더빙 부문 리드인 Buddhika Kottahachchi는 립싱크 시스템이 “번역된 음성과 일치하도록 화면의 픽셀을 수정한다”고 말했습니다. Amazon이 Prime Video와 비슷한 제품을 출시하는 것 같습니다. AI 스택으로 인해 다시 한 번 스트리밍 구독 비용이 급증하지 않기를 바랍니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요