MIT Media Lab의 연구원들은 iPhone 및 iPad Pro에 장착된 LiDAR 센서가 정말 놀라운 용도로 사용되는 것을 발견했습니다. 카메라 시야에서 완전히 벗어난 물체를 감지하고 추적할 수 있습니다. 예, 그것은 모퉁이를 둘러보는 것을 의미합니다.
NLOS(non-line-of-sight) 이미징이라고 하는 이러한 종류의 이미징은 새로운 개념이 아닙니다. 그러나 과거의 시연에서는 현실 세계에 거의 적용되지 않는 강력하고 값비싼 실험실 수준의 레이저에 의존했습니다.
이 연구가 흥미로운 점은 MIT 팀이 스마트폰에 이미 내장된 것과 동일한 저전력 LiDAR 센서를 사용하여 이 연구를 수행했다는 것입니다.
어떻게 작동하나요?
팀은 LiDAR 센서를 사용하여 우리가 시야에 직접 닿지 않는 물체를 모퉁이 너머로 볼 수 있도록 합니다. 비결은 모션이다. 장치가 움직일 때 시스템은 시간이 지남에 따라 물체의 모양, 물체의 위치 및 카메라 위치를 동시에 추적합니다.
팀에서는 이를 조리개 샘플링 모델이라고 부르며, 본질적으로 시끄럽고 불완전한 일련의 판독값을 의미 있는 것으로 결합합니다. 출력물은 모퉁이에 무엇이 숨어 있는지에 대한 선명한 사진이 아닙니다. 대신 점점 더 풍부한 추론을 얻을 수 있습니다. 시스템은 거기에 무언가가 있는지, 어떻게 움직이는지, 대략 어떤 모양인지 알려줄 수 있습니다. 반향정위와 비슷하지만 빛이 있다고 생각해보세요.
실제로 무엇을 할 수 있나요?
팀은 단일 객체 추적, 모양 재구성, 한 번에 여러 객체 추적, 로봇공학에서 특히 흥미로운 기능인 숨겨진 랜드마크를 사용한 카메라 자체 위치 파악이라는 네 가지 특정 기능을 시연했습니다.
마지막 것은 큰 문제입니다. 직접 볼 수 없는 물체를 사용하여 스스로 방향을 잡을 수 있는 로봇이나 자율 시스템은 현실 세계에서 엄청난 이점을 가지고 있습니다. 또한 사고 방지와 같은 자율주행 기술이나 배송 드론을 개선하는 데 도움이 될 수도 있습니다.
안타깝게도 이 프로젝트의 연구원 중 한 명인 Siddharth Somasundaram은 “이러한 회사는 종종 공개하지 않는 원시 데이터를 공개해야 하기 때문에 지금은 스마트폰에서 이 기능을 시도할 수 없습니다”라고 말했습니다. 즉, 연구원들은 코드를 공개적으로 공개했으며 센서 하드웨어는 50달러 미만으로 조립할 수 있습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요