Netflix는 단순한 정리를 넘어서는 AI 비디오 도구를 자세히 설명하고 있습니다. VOID라고 불리는 시스템은 영상에서 요소를 잘라내면서 다른 모든 요소는 여전히 안정적인 느낌을 주는 방식으로 작동하도록 유지합니다.
이는 AI 비디오 편집의 변화를 의미합니다. 기존 도구는 원치 않는 요소를 지울 수는 있지만 물체가 떠있거나 이유 없이 동작이 멈추는 등 기분 나쁜 움직임을 남기는 경우가 많습니다. VOID는 편집 후 발생하는 상황에 초점을 맞춰 시퀀스를 재구성하여 결과가 여전히 믿을 수 있는 원인과 결과를 따르도록 합니다.
연구에 따르면 모델은 변경 사항에 따라 상호 작용을 조정할 수 있으므로 지지 물체가 제거되면 나머지 요소가 정지되거나 결함이 발생하는 대신 자연스럽게 반응합니다. 새로운 설정에 맞게 샷의 물리적 논리를 효과적으로 다시 작성합니다.
편집자와 스튜디오의 경우 이는 특히 여러 요소가 상호 작용하는 장면에서 몰입감을 깨지 않고 후반 작업에서 더욱 깔끔한 수정을 의미합니다.
VOID가 샷을 다시 쓰는 방법
VOID는 편집 내용을 연쇄 반응으로 처리합니다. 무언가를 제거한 후 영향을 받을 수 있는 사항을 파악한 다음 동작이 여전히 논리적으로 추적되도록 시퀀스를 재구성합니다.
모델은 그림자, 충돌 또는 지지가 변경될 수 있는 위치를 포함하여 영향을 받는 영역을 식별하는 것으로 시작됩니다. 그런 다음 이러한 변화에 대한 구조화된 지도를 구축하고 이를 반영하는 새로운 버전의 영상을 생성합니다. 두 번째 개선 단계는 움직임을 부드럽게 하고 객체가 업데이트된 경로를 따라갈 때 뒤틀림을 방지합니다.
물리학을 인식한 편집이 중요한 이유
눈에 띄는 것은 VOID가 원인과 결과를 처리하는 방식입니다. 이 모델은 수천 개의 시뮬레이션 시퀀스를 통해 훈련되었으며, 이는 조건이 변할 때 객체가 어떻게 반응하는지 이해하는 데 도움이 됩니다.
한 가지 예에서, 도미노 체인의 일부를 제거하면 타일이 지워질 뿐만 아니라 동작을 진행할 수 있는 것이 없기 때문에 반응이 완전히 중지됩니다. 또 다른 경우에는 개체와 상호 작용하는 사람을 제거해도 장면이 정지되지 않으며 나머지 동작은 예상대로 계속됩니다.
VOID는 과거 영상의 패턴을 복사하는 대신 원인과 결과에 대해 학습된 규칙을 적용합니다.
다음에 무엇을 볼 것인가
VOID는 여전히 제품 릴리스가 아닌 arXiv 논문에서 세부 정보가 공유되는 연구 시스템입니다. 이러한 종류의 편집이 언제 소비자 도구나 전문 소프트웨어에 적용되는지에 대한 타임라인은 아직 없습니다.
그래도 방향은 확실하다. AI 비디오 워크플로우가 확장됨에 따라 물리적 상호 작용을 이해하는 도구는 고품질 편집을 위해 더욱 중요해질 것입니다. 특히 작은 불일치로 인해 몰입이 빠르게 중단되는 영화와 TV에서는 더욱 그렇습니다.
다음 단계는 더 복잡한 시나리오로 확장하는 것입니다. 여기에는 더 조밀한 설정, 더 많은 개체, 여러 상호 작용이 겹치는 더 긴 시퀀스가 포함됩니다. 이러한 진전이 지속된다면 물리학 인식 편집을 통해 비디오 도구를 면밀한 조사를 통해 유지되는 전체 시퀀스 재구성으로 추진할 수 있습니다.