Apple은 작년에 iPhone과 Vision Pro에 실시간 인식(Live Recognition) 기능을 추가했으며, 약 1년 후 Google이 이에 대한 답을 내놓았습니다.
오늘 Gemini Live에서 Guided Vision이 출시되어 Android 사용자에게 주변 환경에 대한 실시간 오디오 설명을 제공합니다. 이 기능은 추가 하드웨어가 필요 없이 스마트폰의 카메라에 의존합니다.
Guided Vision은 실제로 어떻게 작동하나요?
Guided Vision을 활성화하려면 Gemini 앱의 프로필 토글에서 활성화하거나 접근성 바로가기(예: 두 손가락 스와이프 또는 두 볼륨 키 모두)를 설정하거나 TalkBack에서 세 손가락 탭을 사용하세요.
Gemini Live 세션 중에 카메라를 공유하면 카메라가 보는 내용을 설명합니다. 따라서 영양 라벨이나 세탁기 다이얼과 같은 작은 글씨를 읽거나 떨어진 이어버드를 찾는 등 Guided Vision이 모든 것을 할 수 있습니다.
카메라를 올바르게 배치하는 데 도움을 주기 위해 Gemini는 카메라 재구성 방법을 안내합니다. 프레임에 무언가를 맞추기 위해 오른쪽으로 이동하거나, 아래로 기울이거나, 뒤로 물러나도록 지시합니다. 일반적인 설명 외에도 유통기한을 발견한 후 읽게 하는 등 후속 질문을 할 수도 있습니다.
접근성 도구가 여러 언어에서 작동하는지 확인하기 위해 Google은 인도, 브라질, 싱가포르, 일본을 포함한 여러 언어 및 지역에서 접근성 도구를 테스트했습니다.
누가 이것을 만들었고, 그것은 무엇을 하지 않을까요?
Google은 Aira를 통해 Guided Vision을 교육하여 수만 시간의 시각적 해석을 기록하고 1,000명이 넘는 Aira 신뢰할 수 있는 테스터의 도움을 받아 모델의 스트레스 테스트를 실시했으며 Aira 전문가는 안전 가드레일 형성을 도왔습니다.
이는 분명히 의료 기기, 이동 보조 장치 또는 지팡이 교체가 아니며 Google은 잘못된 설명으로 인해 누군가가 위험에 처할 수 있으므로 내비게이션 또는 장애물 감지에 의존하지 말라고 말합니다.
이제 Android 9 이상에서 출시되며 Apple이 iPhone 및 Vision Pro에 제공한 실시간 인식 기능에 대한 Google의 답변으로 출시됩니다. 따라잡을 수 있도록 Google은 이번 달 초 다른 Android 접근성 도구와 함께 Guided Vision을 미리 선보였습니다.
관련 보도:
이 주제에 대해 더 알고 싶다면 아래를 참고하세요