세 명의 등산객이 Gemini를 믿고 하이킹 계획을 세웠고 다음날 구조되어야 했습니다.

AI 챗봇은 휴가 계획을 세우는 데 도움을 주거나 무엇을 챙겨야 할지 제안할 수 있습니다. 그러나 자신이 무엇을 하고 있는지 실제로 아는 사람의 조언이 더 안전한 선택인 상황이 있습니다.

시카고 트리뷴(Chicago Tribune)이 보도한 바와 같이, 캘리포니아주 로즈빌에서 온 세 명의 초보 등산객이 밤새 좌초된 후 샤스타 산에서 구조되어야 했습니다. Siskiyou 카운티 보안관 사무실에 따르면 그들은 Google Gemini를 사용하여 등반 계획을 세웠습니다. 보안관 사무실은 제미니가 그들에게 필요한 것보다 훨씬 적은 양의 음식과 물을 휴대하라고 조언했다고 말했습니다.

8시간의 하이킹이 하룻밤의 구조로 바뀌었습니다

일행은 일요일 오전 3시쯤 정상을 향해 출발했다. 정오까지 정상에 도달하지 못한 등산객들은 우회할 것을 권유받았으나, 세 사람이 계속해서 결국 오후 7시쯤 정상에 도달했다.

하강하는 동안 문제가 발생했습니다. 그들은 어둠 속에서 길을 잃었고 Clear Creek Route에 머물지 않고 Mud Creek Canyon에 도착했습니다. 등산객 중 한 명도 무릎 부상을 입어 다음날 아침 구조대가 도착하기 전까지 일행은 가파른 배수로에서 밤을 보내야 했습니다.

보안관 사무실은 등산객들에게 오프라인 옵션을 포함한 다양한 탐색 방법을 휴대할 것을 권고했으며, 등반을 시도하기 전에 지역 미국 산림청 관리소에 전화할 것을 권장했습니다. 또한 여행 계획을 AI에만 의존하지 말라고 사람들에게 구체적으로 경고했습니다.

AI는 조언을 제공할 수 있지만 경험을 대체할 수는 없습니다.

사람들이 법률 및 의학적 조언을 얻기 위해 AI를 찾았을 때 비슷한 문제가 나타났습니다. 우리는 이전에 법률 연구를 위해 ChatGPT를 사용한 변호사를 다루었지만 인용된 사례가 존재하지 않는다는 사실을 발견했습니다. 그는 ChatGPT에게 그것이 진짜인지 확인해달라고 요청했고, 챗봇은 그것이 진짜라고 말했습니다. ChatGPT, Gemini, Grok, Meta AI 및 DeepSeek를 테스트한 연구에서도 의학적 질문에 대한 답변의 약 절반이 결함이 있거나 불완전했으며 일부에는 조작된 참조가 포함되어 있는 것으로 나타났습니다.

챗봇에는 나름의 용도가 있지만 실수로 인해 누군가의 건강, 안전 또는 생계가 위험에 빠질 수 있는 경우 그럴듯한 답변을 얻는 것만으로는 충분하지 않습니다. 전문적이거나 경험이 풍부한 전문가의 조언이 우선적으로 이루어져야 합니다. 최소한 AI가 생성한 정보는 누군가가 이에 대해 조치를 취하기 전에 신뢰할 수 있는 소스와 비교하여 확인되어야 합니다.

챗봇 자체도 사용자에게 자신이 말하는 모든 것을 액면 그대로 받아들이지 말라고 말합니다. Gemini는 “Gemini는 AI이므로 실수를 할 수 있습니다.”라는 경고를 전달합니다. 이와 같은 사례는 해당 경고가 존재하는 이유를 잘 상기시켜 줍니다.