ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- Anthropic, OpenAI 및 Google 도구는 코드 디버깅을 자동화할 수 있습니다.
- 그러나 사이버 보안은 이러한 도구로 해결하기에는 너무 복잡한 문제입니다.
- AI의 가장 큰 기여는 피할 수 있는 소프트웨어 결함을 줄이는 것일 수 있습니다.
AI를 구축하여 전 세계가 사용할 수 있는 기술을 안전하게 만드는 회사를 신뢰할 수 있습니까?
이는 올해 AI 사용자로서 직면하게 되는 가장 긴급한 질문 중 하나이며 학술적인 질문이 아닙니다. 기술의 실제 배포가 확산됨에 따라 잠재적으로 치명적인 영향을 미칠 수 있는 새로운 종류의 위험이 나타나고 있으며 새로운 솔루션이 필요합니다.
또한: 2026년에 AI가 전례 없는 피해를 입힐 수 있는 10가지 방법
AI 모델의 주요 제작자인 OpenAI, Anthropic 및 Google이 구조에 나서고 있습니다. 세 가지 모두 LLM의 오류와 보안 침해를 완화할 수 있는 도구와 이를 기반으로 구축된 에이전트 프로그램을 제공합니다.
(공개: ZDNET의 모회사인 Ziff Davis는 2025년 4월 OpenAI를 상대로 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하는 소송을 제기했습니다.)
월스트리트 관찰자들은 AI 회사의 도구가 Palo Alto Networks, Zscaler 및 Check Point Software와 같은 회사의 전통적인 사이버 보안 제품을 대체할 가능성이 실제로 있다고 생각합니다. 시스템 오류를 감지하는 도구를 판매하는 Dynatrace와 같은 회사를 포함하여 관찰 가능성이라는 관련 분야도 위협을 받고 있습니다.
또한: AI 기반 랜섬웨어 시대에 암호화된 백업이 실패할 수 있는 이유
프로그램이 본격적으로 출시되기 전에 전 세계 소프트웨어 문제의 대부분 또는 전부가 소프트웨어 제작자에 의해 소스에서 해결될 것이라는 생각은 참으로 감미롭습니다. 처음부터 올바르게 수행하면 더 이상 서비스 거부, 랜섬웨어, 공급망 공격이 발생하지 않습니다.
다만 그렇게 간단하지는 않습니다.
도전 과제는 도구나 접근 방식의 잠재적인 성과보다 더 큽니다. AI 모델과 에이전트를 포함한 소프트웨어의 위험은 기업이 스스로 해결하기에는 범위가 너무 광범위합니다.
AI 문제를 해결하려면 기존의 모든 보안 및 관찰 도구가 필요합니다. 또한 새로운 형태의 데이터 엔지니어링이 필요할 것입니다. 실제로 솔루션을 사용하려면 위험의 근본 원인을 해결하기 위해 AI 프로그램 자체를 근본적으로 재설계해야 할 수도 있습니다.
AI가 사이버 보안을 쓸모없게 만들 수 있을까?
최근 Anthropic이 일부 코드 작성을 자동화할 수 있는 인기 있는 Claude Code 도구의 확장판인 Claude Code Security를 공개하면서 사이버 보안 회사의 주가가 흔들렸습니다.
Anthropic은 Claude Code Security가 잠재적인 문제를 표시하고 문제를 해결하기 위한 패치를 제안하는 대시보드를 통해 “팀이 기존 방법에서 종종 놓치는 보안 문제를 찾아 수정할 수 있게” 할 것이라고 말했습니다.
또한: AI 위협은 더욱 악화될 것입니다: 디지털 적의 끈질김에 맞서는 6가지 방법
그 목적은 인간 분석가가 결과와 제안을 검토하여 최종 결정을 내리는 것입니다. Claude Code Security는 “제한된 연구 미리보기에서 사용 가능”합니다.
Anthropic의 Claude Code Security와의 터미널 세션입니다.
인류학
1년여에 걸친 사이버보안 연구의 결과 클로드코드시큐리티는 단순히 클로드코드로 만든 경찰코드가 아니다. Anthropic은 이 도구를 사용하여 “수년간의 전문가 검토에도 불구하고 수십 년 동안 발견되지 않은” 수백 개의 취약점을 발견했습니다.
마찬가지로 OpenAI는 지난 10월 회사가 “GPT-5를 기반으로 하는 에이전트 보안 연구원”이라고 부르는 Aardvark를 공개했습니다. 현재 비공개 베타 버전에서 Aardvark는 Anthropic이 약속한 것과 동일한 종류의 자동 코드 스캔을 수행합니다. OpenAI는 “Aardvark는 코드베이스에 대한 커밋 및 변경 사항을 모니터링하고 취약점을 식별하고 악용 방법을 제안하는 방식으로 작동합니다”라고 말했습니다.
OpenAI의 Aardvark 작동 방식
인류학
Aardvark가 출시되기 3주 전에 Google의 DeepMind 연구 부서는 “코드 보안을 자동으로 향상시키는 새로운 AI 기반 에이전트”라고 불리는 CodeMender를 공개했습니다.
Anthropic의 도구와 마찬가지로 CodeMender는 단순히 Google 창작물을 보호하는 것이 아니라 광범위한 보안 도구가 되도록 만들어졌습니다. DeepMind는 6개월 간의 개발 기간 동안 CodeMender가 “이미 450만 줄의 코드를 포함하여 72개의 보안 수정 사항을 오픈 소스 프로젝트에 업스트림했습니다”라고 지적했습니다.
Anthropic 및 OpenAI와 달리 DeepMind는 수정 사항 제안뿐만 아니라 수정 사항을 코드에 자동으로 적용하는 것을 강조합니다. 지금까지 이 프로그램은 DeepMind 연구원들만 사용하고 있습니다. DeepMind는 “현재 CodeMender에서 생성된 모든 패치는 업스트림에 제출되기 전에 인간 연구원의 검토를 거칩니다.”라고 강조했습니다.
Google DeepMind의 CodeMender 작동 방식
딥마인드
대부분의 관찰자들은 세 가지 서비스 모두 ‘AppSec’, ‘소프트웨어 구성 분석’ 및 ‘정적 애플리케이션 보안 테스트’와 같은 범주에서 도구의 역할을 즉시 위협한다고 동의합니다. 이러한 기능에는 Snyk, Jfrog, Mend, GitHub Didabot, Semgrep, Sonatype, Checkmarx 및 Veracode와 같은 회사 및 도구가 포함됩니다.
투자 회사 RW Baird & Co의 소프트웨어 분석가인 William Power는 Claude Code Security의 도입으로 “고성장 소프트웨어 이름, 특히 관찰 가능성 및 클라우드 보안 분야에서 새로운 약점이 발생했습니다”라고 썼습니다.
또한: 기업 AI 에이전트가 궁극적인 내부자 위협이 될 수 있는 이유
Anthropic, OpenAI 및 DeepMind가 강조한 것처럼 전통적인 패키지 애플리케이션을 점점 더 대체할 LLM 기반 소프트웨어를 확산시키는 코드를 구축하는 동일한 공급업체에서 제공하는 도구를 사용하여 작업하기를 원할 것이라고 가정하는 것이 합리적입니다.
이 기술은 이들 회사의 코딩 플랫폼에 통합되어 있다는 점에서 추가적인 매력을 갖고 있습니다. Claude Code Security 및 Aardvark는 이미 미리보기 형태로 Claude Code 및 OpenAI Codex 도구에 통합되어 있습니다. CodeMender는 여전히 연구 프로젝트이지만 어느 시점에서는 Gemini, Imagen 및 기타 모델을 위한 Google의 AI Studio 개발 도구의 일부가 될 수 있다는 것이 분명합니다.
단일 도구보다 더 큰 문제
이러한 도구가 아무리 유용하더라도 사이버 보안은 너무 광범위한 분야이고 문제의 범위가 너무 크고 근본 원인이 너무 심해서 코드 스캔 도구로 AI 출력을 안전하게 만들 수 없습니다.
소스 코드 스캔, 문제 분석, 패치 또는 재설계 영역 내에서 문제는 단일 소스 코드 조각보다 더 큽니다. 최신 소프트웨어는 현장에서 다양한 소스의 수많은 파일로 구성된 “아티팩트”로 알려져 있습니다. 특정 프로그램에는 함께 안정적으로 수행되어야 하는 라이브러리, 프레임워크 및 기타 요소가 포함되어 있습니다.
최근 블로그 게시물에서 JFrog의 CTO이자 공동 창립자인 Yoav Landman은 “코드는 더 이상 최종 제품이 아닙니다. 이는 중간 단계입니다. 실제 출력, 즉 배송, 배포 및 실행되는 것은 컨테이너 이미지, 패키지, 라이브러리, 컴파일된 릴리스인 바이너리 아티팩트입니다.”라고 설명했습니다.
또한: AI를 출시하시나요? 비즈니스에서 실수할 수 없는 5가지 보안 전술과 그 이유
더 넓은 기술 영역 내에서 코드를 스캔하고 수정하는 것은 Palo Alto, Zscaler 및 Check Point와 같은 사이버 보안 회사가 수행하는 작업이나 Dynatrace, Splunk 및 Datadog이 관찰 가능성에서 수행하는 작업의 작은 부분입니다.
방화벽은 컴퓨터 네트워크의 경계를 보호하는 애플리케이션보다 더 기본적인 수준으로 존재합니다. 이들의 역할은 악의적인 행위자가 취약한 코드에 접근하기 전에 이를 차단하는 것입니다. 소위 엔드포인트 보안 도구라고도 불리는 이 도구는 손상된 호스트 컴퓨터가 공격의 발판이 되지 않도록 보장합니다. 한편, “Secure Access Service Edge” 도구는 올바른 당사자만 프로그램과 상호 작용할 수 있도록 네트워크에서 사용자를 식별하고 인증하는 클라우드 기반 소프트웨어입니다.
버그가 있는 소스 코드를 줄여도 이러한 문제는 해결되지 않습니다. SIEM(보안 정보 및 이벤트 관리)과 같은 도구는 네트워크와 앱 위에 위치합니다. 이러한 도구는 보안 전문가에게 컴퓨터 전반에 걸쳐 실시간으로 무슨 일이 일어나고 있는지 알려줍니다.
코드를 출시하기 전에 수정하는 것은 좋지만 SIEM은 코드 스캔이 결코 수행하지 않는 작업을 수행합니다. 이 도구는 이미 문제를 일으키고 있기 때문에 긴급한 주의가 필요한 사항을 개발 과정에서 보여줍니다. 코드에 버그가 있으면 기다릴 수 있으며 아마도 기다려야 할 것입니다. 전체 컴퓨터 네트워크에서 잠재적으로 치명적인 일이 발생하는 경우 시간이 가장 중요합니다.
또한: AI는 조용히 스스로를 중독시키고 모델을 붕괴로 몰아넣고 있습니다. 하지만 치료법이 있습니다.
Palo Alto, Zscaler 등 SIEM을 판매하는 회사는 AI를 활용하여 보안 전문가의 작업 속도를 높이고 있습니다. 그러나 소프트웨어는 문제가 발생하더라도 “목이 막히는 상황”을 대체하지 않습니다. 보안 공급업체가 존재하는 이유는 한밤중에 전화를 받고 밤샘 작업을 통해 단 하나의 잘못된 코드보다 더 큰 문제를 찾아서 수정하는 사람들이 있기 때문입니다.
Anthropic과 OpenAI는 일반적으로 전화를 받는 것으로 알려져 있지 않지만 Google의 클라우드 부서는 추가 인력으로 자체 보안 작업을 제공할 수 있습니다.
AI야, 힐링해라
보다 심오한 수준에서 최근 연구에 따르면 AI의 최전선인 에이전트 시스템 자체가 잠재적으로 치명적인 엔지니어링 및 설계 결함으로 어려움을 겪고 있는 것으로 나타났습니다.
지난 주 MIT 연구원들은 상업적으로 판매되는 수많은 AI 에이전트 시스템에는 공개된 보안 감사나 악성 에이전트를 차단하는 수단과 같은 기본 기능이 부족하다고 설명했습니다.
또한: MIT 연구에 따르면 AI 에이전트는 빠르고 느슨하며 통제 불능입니다.
노스이스턴 대학교(Northeastern University)가 이끄는 연구원들은 최근 루프에 사람 없이 여러 AI 에이전트가 상호 운용되는 광범위한 레드팀 노력의 결과를 공개했습니다.
그들은 “혼돈”이 뒤따른다는 것을 발견했습니다. 봇이 다른 봇을 종료하려고 시도하는 것입니다. 사이버 위험의 “위협 표면”을 확장하기 위해 악성 코드를 서로 “공유”하는 봇; 나쁜 보안 관행을 상호 강화하는 봇.
이러한 혼란을 처리하는 한 가지 방법은 야생에서 수집된 새로운 AI 훈련 데이터 세트를 구축하는 것입니다. 소프트웨어 및 서비스 회사인 Innodata는 AI 거대 기업이 이를 수행하도록 돕는 공급업체 중 하나입니다.
Innodata의 CEO인 Jack Abuhoff는 ZDNET에 “적들은 매우 창의적이며 실험실 환경에서 훈련된 모델이 이전에 본 적이 없는 것들을 생각해내고 있습니다.”라고 말했습니다. “그 경우 어떻게 합니까? 에이전트의 스트레스 테스트를 위해 고품질, 의미상 다양하고 확장 가능한 적대 공격이 필요합니다.”
또한: 파괴된 서버 및 DoS 공격: OpenClaw AI 에이전트가 상호 작용할 때 발생할 수 있는 일
AI와 에이전트에는 결함이 있기 때문에 사이버 보안 공급업체를 담당하는 Barclays Bank의 한 주식 분석가인 Saket Kalia는 최근 “코드 개발자가 코드 보안 도구를 제공한다면 그것은 닭장을 지키는 여우와 같을까?”라고 생각했습니다.
AI를 사용하여 코드 개선
AI는 코드 수정을 돕기 위해 필연적으로 사용될 것입니다. Claude Code Security, Aardvark 및 CodeMender가 제공할 수 있는 가장 큰 기여는 사이버 보안을 마술처럼 해결하는 것이 아니라 피할 수 있는 소프트웨어 오류의 수를 엄청나게 줄이는 것입니다.
오랫동안 소프트웨어 기록을 써온 Robert N. Charette는 학술 저널인 IEEE Spectrum 11월호에 실린 “수조 달러가 지출되고 대규모 소프트웨어 프로젝트가 여전히 실패하고 있습니다”라는 제목의 기사에서 오랫동안 IT에 5조 6천억 달러가 지출되지만 “소프트웨어 성공률은 지난 20년 동안 눈에 띄게 개선되지 않았습니다”라고 지적했습니다.
AI에게도 이는 엄청난 도전이다. Charette가 쓴 것처럼 소프트웨어 엔지니어링 문제를 해결하기 위해 “AI가 테이블에 가져올 수 있는 것에는 엄격한 제한이 있습니다”. “소프트웨어 실무자들이 알고 있듯이 IT 프로젝트는 AI를 추가하지 않고도 관리상의 환각과 망상으로 인해 어려움을 겪습니다.”