우리 모두는 AI가 실수를 할 수 있다는 경고를 본 적이 있습니다. 챗봇의 경우 이는 일반적으로 사실을 만들어내거나, 질문을 오해하거나, 자신있게 잘못된 답변을 제공하는 것을 의미합니다. 동일한 기술을 무기에 적용하면 실수의 결과가 매우 달라질 수 있습니다.
뉴욕타임스 조사에 따르면 지난 7월 6일 우크라이나 자포리지아에서 발생한 러시아 드론 공격으로 19세 대학생을 포함해 민간인 3명이 사망했다. 인간 조작자는 드론이 주유소를 향해 이동하도록 프로그래밍했지만 자율 AI 시스템은 드론이 공격할 정확한 대상, 즉 프로판 탱크를 선택했습니다. 드론은 목표물에 도달하지 못하고 근처에서 폭발했습니다.
The Times가 인용한 전문가는 이러한 종류의 자체 타겟팅 AI 시스템을 사용하는 러시아 드론에 의해 민간인이 살해된 최초의 문서화된 사례라고 설명했습니다.
이제 컴퓨터가 맞을 대상을 선택하고 있습니다.
이전의 AI 지원 드론은 일반적으로 대상 선택에 사람이 참여하도록 했으며 최종 접근 방식은 소프트웨어가 처리하도록 했습니다. Zaporizhzhia에서 복구된 시스템은 더욱 발전했습니다.
수사관들은 기내에서 엔비디아 젯슨 오린(Nvidia Jetson Orin) 컴퓨터를 발견했으며, 우크라이나 관리들은 그 코드에서 시스템이 인식하고 공격하도록 훈련된 개체의 유형을 드러냈다고 말했습니다. 완전 자율 타겟팅은 최종 목표 선택 과정에서 인간을 제거합니다.
1979년 IBM 교육 매뉴얼에는 오늘날 매우 충격적이라고 느껴지는 경고가 포함되어 있습니다. “컴퓨터는 결코 책임을 질 수 없으므로 컴퓨터가 관리 결정을 내려서는 안 됩니다.”
거의 50년이 지난 지금, 컴퓨터는 훨씬 더 큰 결과를 가져오는 결정을 내릴 수 있다는 신뢰를 받고 있습니다.
AI가 잘못하면 누가 책임을 지는가?
자율 무기는 재판을 받을 수도, 추론을 설명할 수도, 부당한 죽음 이후 처벌을 받을 수도 없습니다. 인간의 책임이 사라지지는 않지만, 소프트웨어가 타겟팅 결정의 일부가 되면 책임을 할당하는 것이 훨씬 더 복잡해집니다.
러시아만이 이 기술을 추구하는 것은 아닙니다. 우크라이나는 러시아가 점령한 크리미아 반도의 연료 저장고와 군사 장비에 대해 완전 자율 시스템을 테스트했지만 전 국방부 장관은 타임즈에 이러한 테스트로 민간인이 사망하지 않았다고 말했습니다.
자율 AI 무기는 이미 활발한 전쟁에서 사용되고 있으며, 이제 사용 중에 민간인이 사망했습니다. 러시아는 그것들을 테스트하고 있고, 우크라이나는 그것들을 테스트하고 있으며, 기술은 여기서부터 더욱 유능해질 것입니다. 이는 위험한 미끄러운 경사면입니다. 일단 군대가 표적 결정을 소프트웨어에 맡기기 시작하면 해당 책임을 철회하는 것이 점점 더 어려워질 수 있기 때문입니다. 되돌릴 수 없을 수도 있으므로 이러한 시스템을 사용하는 방법에 대한 의미 있는 제한이 더욱 시급해집니다.
관련 정보는 아래 링크에서 확인하세요