Claude와 같은 AI 코딩 도우미는 모든 개발자가 가장 좋아하는 동료가 되고 있습니다. 코드를 검토하고, 혼란스러운 기능을 설명하고, 단일 프롬프트로 전체 기능을 작성할 수도 있습니다. 그러나 새로운 연구에 따르면 이러한 신뢰 증가는 가장 큰 약점이 될 수도 있습니다.
보안연구팀(교수) 수디프타 차토파디아이 그리고 연구원 무랄리 에디가)은 AI 모델을 직접 타겟으로 하지 않는 특이한 공격을 보여주었습니다. 대신, 코드 검토 중에 AI가 충분히 주의를 기울이지 않는 부분을 목표로 삼습니다. 연구원들은 악성 명령을 코드 줄에 숨기는 대신 이미지 파일 안에 집어넣었습니다. 많은 AI 검토 도구는 이미지를 검사할 가치가 있는 것이 아닌 장식 자산으로 취급하기 때문에 풀 요청은 완벽하게 무해한 것처럼 보일 수 있으며 검토를 통과할 수 있습니다.
가장 위험한 파일은 절대 열지 않는 파일일 수 있습니다
모서리에 회사 로고가 있는 문서를 받았다고 상상해 보십시오. 당신은 아마 그것을 한 눈에 보고 계속 나아갈 것입니다. 이제 다음번에 비밀번호 저장소를 사용할 때 AI 비서에게 비밀번호 저장소를 열도록 지시하는 지침이 로고에 비밀리에 포함되어 있다고 상상해 보세요. 이것이 바로 이 개념 증명의 기본 아이디어입니다. 코드가 병합된 후에도 트릭이 즉시 실행되지 않습니다. 개발자가 나중에 AI 코딩 도우미에게 도우미 기능 생성이나 새 모듈 추가 등 완전히 관련 없는 작업을 수행하도록 요청할 때까지 기다립니다. 그때쯤이면 AI는 이미 숨겨진 지침을 흡수하고 생성된 코드에 기밀 정보를 넣기 전에 자신도 모르게 민감한 프로젝트 파일에 액세스할 수 있습니다.
특히 걱정되는 점은 도난당한 데이터가 소스코드에 뻔한 방식으로 덤프되지 않는다는 점이다. 대신, 합법적인 코드와 조화를 이루는 평범해 보이는 값으로 위장하여 기존 보안 도구를 실행하거나 빠른 검토 중에 개발자의 시선을 끌 가능성이 훨씬 적습니다.
단지 어떤 AI를 사용하느냐가 중요한 것이 아닙니다.
또한 연구원들은 어떤 대규모 언어 모델이 사용되는지에 따라 결과가 결정되지 않는다는 사실도 발견했습니다. 많은 경우, 동일한 AI 모델은 주변에 포함된 코딩 도우미에 따라 매우 다르게 동작했습니다. 일부 도구는 숨겨진 지침을 맹목적으로 따랐지만 다른 도구는 의심스러운 것을 인식하고 계속하기를 거부했습니다. 이는 문제가 특정 챗봇에만 국한되지 않는다는 점을 시사하기 때문에 중요한 차이점입니다. 실제 과제는 AI 기반 코딩 플랫폼이 신뢰할 수 있는 정보와 액세스할 수 있는 프로젝트 파일을 결정하는 방법에 있습니다.
좋은 소식은 연구자들이 이것이 해결이 불가능한 문제라고 생각하지 않는다는 것입니다. 그들은 AI 검토 도구가 이미지, 문서, 구성 파일 및 기타 비코드 자산을 소스 코드와 동일한 수준의 정밀 조사로 처리하는 진정한 의미에서 “다중 모드”가 되어야 한다고 주장합니다. AI가 사진을 읽을 수 있다면 사진이 사진을 조작하려고 할 수 있다는 점도 이해해야 합니다. 개발자에게 이는 AI 코딩 도구에 여전히 감독이 필요하다는 점을 다시 한 번 상기시켜줍니다. 소프트웨어 개발 속도를 극적으로 높일 수 있지만 이전에는 존재하지 않았던 완전히 새로운 공격 표면을 열어주기도 합니다. 다음 보안 위험은 수천 줄의 코드에 숨겨져 있지 않을 수도 있습니다. 누구도 열 가치가 없다고 생각한 이미지 안에 있을 수도 있습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요