인공지능은 더 이상 단순한 실험실 실험이 아닙니다. 개발자의 코드 작성을 돕고 분석가의 연구를 지원하며 은행, 병원 및 기술 회사 내부의 도구를 강화하면서 조용히 일상 소프트웨어의 일부가 되어가고 있습니다. 지난 몇 년 동안 LLM(대형 언어 모델)은 호기심에서 많은 디지털 제품의 핵심 인프라로 이동했습니다.
그러나 기업들이 보다 스마트한 시스템을 구축하기 위해 서두르는 동안 한 가지 중요한 부분이 뒤처져 있었습니다. 바로 보안이었습니다. AI 시스템의 작동 방식은 기존 소프트웨어와 매우 다르며, 이러한 차이로 인해 사이버 보안 세계는 보호 기능이 실제로 작동하는 방식을 다시 생각하게 되었습니다. 결과적으로 보안 커뮤니티에는 AI 침투 테스트(AI 침투 테스트라고도 함)라는 새로운 분야가 등장하고 있습니다.
AI 시스템이 새로운 보안 위험을 일으키는 이유
대부분의 소프트웨어는 예측 가능한 방식으로 작동합니다. 입력을 제공하면 코드는 일련의 규칙을 따르고 출력을 생성합니다. 보안 테스트는 항상 이러한 예측 가능한 구조에 의존해 왔습니다.
대규모 언어 모델은 그런 식으로 작동하지 않습니다.
그들은 언어를 해석하고, 의도를 추측하고, 엄격한 논리보다는 확률을 기반으로 응답을 생성합니다. 때때로 그것은 훌륭하게 작동합니다. 때로는 보안 팀이 예상하지 못했던 문이 열리기도 합니다.
보안 팀이 이미 연구하고 있는 몇 가지 위험은 다음과 같습니다.
- 신속한 주입 공격, 악의적인 입력이 모델의 동작을 조작하는 경우
- 데이터 유출숨겨진 훈련 정보가 응답에 표시됩니다.
- 모델 조작공격자가 조작된 프롬프트를 통해 AI 결정에 영향을 미치는 경우
- 안전하지 않은 API 작업AI 보조자가 의도하지 않은 시스템 명령을 실행하는 경우
이러한 문제는 AI 시스템이 데이터베이스, API 또는 자동화된 워크플로에 연결될 때 더욱 심각해집니다.
AI가 실제 시스템에 연결되면 위험이 높아집니다
많은 최신 AI 애플리케이션은 단독으로 작동하지 않습니다. 이는 종종 이면의 복잡한 시스템에 대한 인터페이스 역할을 합니다. 오늘날 일반적인 AI 기반 도구에 대해 생각해 보십시오. 기업 문서를 읽고, 고객 데이터베이스에 액세스하고, 백엔드 서비스를 시작하거나, 외부 API에 요청을 보낼 수 있습니다. 보안 연구원들은 위험이 모델 자체에서 발생하는 것이 아니라 모델이 다른 시스템과 함께 작동하는 방식에서 발생하는 경우가 많다고 지적합니다. 겉으로는 무해해 보이는 프롬프트라도 AI Assistant가 민감한 정보를 얻거나 의도하지 않은 명령을 실행할 수 있습니다.
성장하는 AI 침투 테스트 분야
이러한 위험을 평가하기 위해 보안 전문가는 기존 침투 테스트 기술을 AI 환경에 적용하고 있습니다.
AI 침투 테스트는 적대적인 입력, 예상치 못한 프롬프트 또는 조작된 데이터 소스에 노출되었을 때 언어 모델이 어떻게 작동하는지 검사합니다. 테스터는 네트워크 포트나 소프트웨어 취약점을 조사하는 대신 AI 시스템이 언어를 해석하는 방식과 해당 해석이 다운스트림 시스템에 어떤 영향을 미치는지 분석합니다.
이 공간을 탐구하는 엔지니어 중에는 나얀 고엘AI 시스템과 최신 애플리케이션 보안의 교차점에 중점을 두고 업무를 수행하는 수석 애플리케이션 보안 엔지니어입니다.
현대 연구에서는 대규모 언어 모델이 통제된 환경에서 실제 소프트웨어 생태계로 이동할 때 어떤 일이 발생하는지 조사합니다. AI가 API, 데이터 파이프라인 및 자동화된 워크플로와 상호 작용하면 가능한 실패 지점 수가 빠르게 늘어납니다.
연구가 따라잡기 시작했습니다
오랫동안 AI 보안에 관한 대부분의 연구는 학계 내부에 머물렀습니다. 연구원들은 이론적 공격을 연구하거나 기계 학습 시스템이 어떻게 조작될 수 있는지 분석했습니다.
Goel은 안전한 AI 모델을 위한 연합 학습, 적대적인 환경에서 AI 시스템 보호, 자율 시스템 보호 등의 주제에 대한 연구를 통해 이 토론에 기여했습니다. 이 작업 중 일부는 IEEE 및 Springer와 같은 국제 회의에서 발표되었으며, 이는 학계 및 산업 환경 모두에서 이러한 과제에 대한 인식이 높아지는 것을 반영합니다.
AI 애플리케이션을 위한 보안 표준 구축
더 많은 조직이 AI 도구를 배포함에 따라 공통 보안 지침의 필요성이 점점 더 분명해지고 있습니다. OWASP와 같은 조직은 AI 시스템 및 LLM(대형 언어 모델) 생성을 위한 지침을 특별히 게시하기 시작했습니다.
OWASP와 같은 조직은 생성 AI 시스템 및 LLM(대형 언어 모델)을 위한 지침을 특별히 게시하기 시작했습니다. Goel은 또한 OWASP의 에이전트 보안 이니셔티브와 관련된 작업을 포함하여 AI 기반 시스템에 대한 보안 관행을 정의하는 데 초점을 맞춘 커뮤니티 노력에 기여했습니다.
이러한 지침은 빠르게 발전하는 분야에 구조를 가져오려는 초기 시도를 나타냅니다. 이 프로젝트의 목표는 취약점이 널리 퍼지기 전에 개발자가 보안 제어를 AI 애플리케이션에 통합하도록 돕는 것입니다.
연구를 실제 보안 도구로 전환
보안 팀에는 연구 프레임워크 외에도 AI 시스템을 테스트하기 위한 실용적인 방법도 필요합니다.
이러한 격차를 해소하기 위해 Goel의 최근 작업에는 생성 시스템이 더욱 널리 사용됨에 따라 지속적으로 주목을 받고 있는 AI 모델 전반에 걸친 신속한 주입과 같은 취약성을 식별하는 것을 목표로 하는 개발 및 테스트 방법이 포함되어 있습니다. 이 도구의 흥미로운 기능 중 하나는 다중 에이전트 테스트 접근 방식다양한 분석 에이전트가 테스트 중에 서로의 동작을 평가합니다. 이 설정은 실제 시나리오에서 발생할 수 있는 공동 공격 전략을 모방하는 데 도움이 됩니다.
이 프레임워크의 버전은 연구원과 실무자가 실제 조건에서 AI 시스템의 탄력성을 평가하는 접근 방식을 공유하는 BSides Chicago와 같은 이벤트에서 발표되었습니다.
AI도 국방의 일부가 되고 있다
AI는 새로운 보안 위험을 야기하지만 일부 위험을 해결하는 데도 도움이 될 수 있습니다. 보안 연구원들은 행동 패턴을 모니터링하고 의심스러운 활동을 탐지하며 위협 탐지를 자동화하는 머신 러닝 시스템을 실험하고 있습니다.
미래 보안 엔지니어 교육
AI 보안 생태계의 또 다른 중요한 부분은 교육입니다. 대학에서는 사이버 보안과 인공 지능을 결합한 프로그램을 확대하고 있지만 실제 보안 문제 중 상당수는 여전히 기존 교육 과정에서 완전히 다루어지지 않습니다.
이와 같은 활동은 학문적 연구와 엔지니어가 업계에서 필요로 하는 실무 기술 간의 격차를 해소하는 데 도움이 됩니다.
AI 침투 테스트가 미래에 더 중요한 이유
모든 주요 기술 혁신에서 새로운 보안 문제가 발생했습니다. 1990년대 인터넷이 보급되면서 웹 보안은 필수가 되었습니다. 클라우드 컴퓨팅이 확장되면서 조직은 인프라 보호 조치를 검토해야 했습니다. 오늘날 AI도 같은 상황에 있는 것 같다. 대규모 언어 모델은 사내 도구부터 고객 애플리케이션까지 모든 것에 내장되어 있습니다. 그들의 영향력이 커짐에 따라 신중하게 테스트하는 것의 중요성도 커집니다. AI 침투 테스트는 아직 초기 단계이지만 빠르게 주목을 받고 있습니다. 새로운 연구, 보안 프레임워크 및 테스트 도구가 등장하면서 업계에서는 지능형 시스템을 보호하는 데 필요한 기반을 구축하기 시작했습니다.
디지털 트렌드는 외부 기여자와 협력합니다. 모든 기고자 콘텐츠는 Digital Trends 편집진이 검토합니다.