YouTube는 시청자가 실제로 이해하는 언어로 동영상을 더 쉽게 시청할 수 있도록 자동 더빙 기능을 더욱 개선하고 있습니다. 자동 더빙은 AI를 사용하여 비디오의 음성 오디오를 번역하고 다른 언어로 더빙된 버전으로 대체합니다.
이 기능은 이제 27개 언어를 지원하며 시청자는 YouTube 설정에서 선호하는 언어를 설정할 수 있습니다. 더빙 버전을 사용할 수 있게 되면 YouTube에서는 해당 버전을 선택한 언어로 자동으로 제공합니다. 따라서 동영상이 다른 언어로 되어 있는 경우 YouTube는 재생 버튼을 누르는 순간 해당 동영상에 액세스할 수 있기를 원합니다.
YouTube에서 자동 더빙 사운드를 더욱 자연스럽게 만들고 있습니다.
YouTube는 더빙이 로봇처럼 들리거나 동기화되지 않으면 어색하게 느껴질 수 있다는 것을 알고 있다고 말합니다. 이 문제를 해결하기 위해 회사는 번역된 오디오의 톤, 감정 및 속도를 보존하도록 설계된 기능인 표현적 음성(Expressive Speech)을 출시했습니다.
현재 영어, 프랑스어, 독일어, 힌디어, 인도네시아어, 이탈리아어, 포르투갈어 및 스페인어로 모든 YouTube 채널에서 사용할 수 있으며 나중에 더 많은 언어가 제공될 예정입니다.
플랫폼은 또한 번역된 오디오와 더 잘 일치하도록 화자의 입술 움직임을 미묘하게 조정하는 립싱크 파일럿을 테스트하고 있습니다. 이렇게 하면 특히 오디오와 영상이 일치하지 않아 방해가 된다고 생각하는 시청자의 경우 더빙된 비디오가 원본에 더 가깝게 느껴질 것입니다.
자동 더빙은 자동으로 생성되지만 제작자는 제한되지 않습니다. 더 많은 제어를 원하는 경우 자동 더빙을 완전히 비활성화하거나 자신의 더빙 버전을 업로드할 수 있습니다.
YouTube는 또한 자동 스마트 필터링을 사용하여 음악 전용 동영상이나 무성 동영상 블로그 등 번역하기에 의미가 없는 콘텐츠의 더빙을 방지합니다.
그러나 YouTube에서는 자동 더빙에 불완전한 음성 인식이나 불분명한 오디오로 인해 발생하는 오류가 여전히 포함될 수 있다는 점을 인정합니다. 회사는 더 많은 피드백이 들어오면 시간이 지남에 따라 이러한 시스템이 개선될 것이라고 말했습니다.
자동 더빙 외에도 YouTube는 시청 기록을 기반으로 사용자에게 개성을 부여하는 Recap 기능을 통해 AI 기반 개인화에 힘쓰고 있으며 콘텐츠를 이해하고 표시하는 방법에 또 다른 계층을 추가하고 있습니다.