Tại sao phải nhìn vào thực tế khi bạn có thể chỉnh sửa những gì bạn thấy trong thời gian thực?

Việc áp dụng thực tế tăng cường đang diễn ra chậm nhưng chắc và thật dễ dàng để nhìn thấy một tương lai có thể xảy ra cho công nghệ: phần cứng cho phép bạn chỉnh sửa những gì bạn thấy trong thời gian thực, thay thế các đối tượng xung quanh bạn bằng các lớp phủ ảo. Nói chính xác hơn là gọi nó là thực tế hỗn hợp.

Nghiên cứu gần đây từ nhóm AI tại Porsche (vâng, các nhà sản xuất ô tô – chúng ta sẽ tìm hiểu điều đó sau một chút) cho thấy điều này có thể hoạt động như thế nào. Nhóm đã xây dựng một hệ thống AI có tên TransforMR phát hiện các vật thể như ô tô và con người, loại bỏ chúng, sau đó thay thế chúng bằng các lựa chọn thay thế CGI trong thời gian thực. Kết quả cuối cùng hầu như không hoàn hảo (các chỉnh sửa rất lộn xộn và các mô hình CGI trông giống như chúng được vay mượn từ Trình làm phim 3D) nhưng khái niệm này rất nổi bật. Không khó để tưởng tượng những ứng dụng như thế này trở nên phổ biến trong nhiều thập kỷ tới.

Nhóm nghiên cứu đằng sau công việc đã nói với The Verge rằng mặc dù các yếu tố riêng lẻ trong công việc của họ đã được thực hiện trước đó, nhưng hệ thống tổng hợp là mới lạ. TansforMR có thể chạy trên điện thoại thông minh và máy tính bảng thông thường, nhưng yêu cầu kết nối 4G để gửi dữ liệu lên đám mây. Hình ảnh được xử lý để các đối tượng không chỉ bị che đi, như với ống kính Snapchat AR hoặc Memoji của Apple, mà được chỉnh sửa hoàn toàn. Các đối tượng được phát hiện, phân đoạn, sau đó “inpainted” (thay thế bằng nền do AI tạo) và mô hình CGI được thay thế cho mô hình gốc.

Mô hình TransforMR bao gồm nhiều bước riêng biệt.

Rõ ràng là có rất nhiều lĩnh vực cần cải thiện. Tốc độ khung hình chỉ là 15 khung hình / giây ở chất lượng thấp; độ trễ là 50 đến 100 mili giây; và CGI thay thế không phải là chất lượng tốt nhất. Tuy nhiên, nhóm nghiên cứu đằng sau hệ thống nói rằng những khía cạnh này tương đối dễ cải thiện.

Mohamed Kari, một nhà nghiên cứu máy học tại Porsche, cho biết: “Hạn chế chính là hình ảnh lớn rất cần tính toán. The Verge. “Vì vậy, đối với bản in, chúng tôi thực hiện điều này với các hình ảnh rất nhỏ hiện tại, hoạt động trên các hình ảnh 512 x 512. Nhưng băng thông [usage] không đáng kể. Nếu bạn có thể làm FaceTime, bạn có thể làm TransforMR. ”

Theo Kari, một trong những yếu tố quan trọng của hệ thống là việc sử dụng tính năng phát hiện tư thế. Điều này có nghĩa là khi hệ thống phát hiện một người, chẳng hạn, nó sẽ xác định 18 khớp riêng biệt trong cơ thể. Điều đó có nghĩa là sự thay thế CGI có thể được gắn vào chuyển động của mục tiêu trong thời gian thực. Kari so sánh điều này với các hệ thống AR khác chỉ đơn giản là xác định các bề mặt hình học.

Nhìn vào các clip TransforMR hoạt động, không khó để tưởng tượng phần mềm như vậy sẽ được tích hợp vào kính AR. Người dùng có thể chọn một “chủ đề” cho ngày của họ, thay thế ô tô, tòa nhà và con người bằng các lựa chọn thay thế khoa học viễn tưởng hoặc các vật phẩm lấy từ thiên nhiên. Nhưng, như Kari đã chỉ ra, điều này sẽ liên quan đến một thách thức lớn về phần cứng. Các kính thực tế tăng cường hiện tại chỉ có thể chiếu các lớp phủ bán mờ, có độ phân giải thấp lên thấu kính của chúng. Hiện tại, chúng tôi không có công nghệ để “chỉnh sửa” những gì người dùng đang nhìn thấy với loại phần cứng này. (Mặc dù có lẽ nó có thể được thực hiện bằng cách sử dụng hệ thống VR “truyền qua”, nơi camera góc nhìn thứ nhất phát một nguồn cấp video trực tiếp lên màn hình hoàn toàn che khuất tầm nhìn của người đeo.)

“Chúng tôi đang tái tạo hình ảnh đầy đủ trên màn hình, vì vậy chúng tôi có thể xóa bất cứ thứ gì chúng tôi muốn, nhưng với kính thực tế tăng cường, việc loại bỏ các đối tượng là rất khó vì nó làm tăng cường độ ánh sáng,” Kari nói. “Trong HoloLens chẳng hạn, bạn đang tìm kiếm xuyên qua kính, vì vậy việc loại bỏ các thứ khó khăn hơn. Câu hỏi đó được mở để nghiên cứu ”.

Nhưng tại sao Porsche lại nghiên cứu loại công nghệ này ngay từ đầu? Theo một trong những kiến ​​trúc sư AI của công ty, Tobias Grosse-Puppendahl, tất cả đều nhằm cải thiện trải nghiệm của hành khách và tài xế. Các phiên bản tương lai của phần mềm TransforMR có thể được sử dụng để giải trí cho mọi người khi họ bị kẹt xe, Grosse-Puppendahl nói The Verge. “Câu hỏi chính của chúng tôi là, làm thế nào chúng tôi có thể sửa đổi thực tế theo cách vui vẻ và thú vị để phản ứng lại? Và đó là nơi khởi nguồn ý tưởng của chúng tôi ”.

Các dự án nghiên cứu khác tại Porsche cũng theo chủ đề tương tự. Ví dụ, công ty cũng đã xây dựng một hệ thống nguyên mẫu có tên là SoundRide sử dụng tầm nhìn máy của ô tô để phát hiện những thay đổi trong khung cảnh và gợi ý cho âm nhạc phù hợp. “Ví dụ, có thể bạn đang lái xe qua dãy Alps, lái xe qua một tuyến đường đẹp, và đột nhiên bạn có một khung cảnh tuyệt vời và có thể âm nhạc sẽ thay đổi,” Kari nói. “Chúng tôi đang nghĩ cách công nghệ có thể làm cho trải nghiệm trên xe trở nên thú vị và đẹp mắt hơn”. Và điều đó có nghĩa là mày mò với những gì mọi người sẽ nhìn thấy và nghe thấy.

Bạn cũng có thể thích

Menu