구글은 해커들이 사이버 공격 속도를 높이기 위해 Gemini를 악용하고 있으며 이는 싸구려 피싱 스팸에만 국한되지 않는다고 밝혔습니다. 새로운 Google 위협 정보 그룹(Google Threat Intelligence Group) 보고서에 따르면 국가 지원을 받는 그룹은 초기 표적 연구부터 손상 후 작업에 이르기까지 여러 작전 단계에서 Gemini를 사용했다고 합니다.
활동은 중국, 이란, 북한, 러시아와 연결된 클러스터에 걸쳐 있습니다. Google은 관찰된 메시지와 출력에서 프로파일링, 사회 공학 복사, 번역, 코딩 도움말, 취약성 테스트 및 침입 중 도구가 중단될 때의 디버깅을 다뤘다고 밝혔습니다. 일상적인 작업에 대한 빠른 도움은 여전히 결과를 바꿀 수 있습니다.
AI 도움말, 똑같은 오래된 플레이북
Google 연구원들은 AI를 마법이 아닌 가속으로 사용한다고 가정합니다. 공격자들은 이미 정찰, 미끼 초안 작성, 악성 코드 수정, 오류 추적 등을 실행하고 있습니다. Gemini는 특히 운영자가 빠른 재작성, 언어 지원 또는 압력을 받는 코드 수정이 필요한 경우 이러한 루프를 강화할 수 있습니다.
이 보고서는 운영자가 전문적인 사이버 보안 페르소나를 채택하고 Gemini가 취약성 분석을 자동화하고 구성된 시나리오에서 대상 테스트 계획을 생성하도록 추진하는 중국 관련 활동을 설명합니다. Google은 또한 중국에 기반을 둔 공격자가 침입과 관련된 디버깅, 연구 및 기술 지침을 위해 Gemini를 반복적으로 사용했다고 밝혔습니다. 새로운 전술보다는 과속방지턱 감소에 관한 것입니다.
위험은 피싱뿐만이 아닙니다
가장 큰 변화는 템포입니다. 그룹이 타겟팅 및 도구 사용을 더 빠르게 반복할 수 있다면 방어자는 초기 신호와 실제 손상 사이에 더 적은 시간을 확보하게 됩니다. 이는 또한 실수, 지연 또는 반복적인 수동 작업이 로그에 나타날 수 있는 명백한 일시 중지가 적다는 것을 의미합니다.
Google은 또한 모델 추출 및 지식 증류와 같이 전형적인 사기처럼 전혀 보이지 않는 다른 위협을 표시합니다. 이 시나리오에서 승인된 API 액세스 권한을 가진 행위자는 시스템의 성능과 이유를 복제하라는 메시지를 통해 시스템을 망치고 해당 지식을 사용하여 다른 모델을 교육합니다. Google은 영어 이외의 작업에서 동작을 복제하기 위한 100,000개의 프롬프트와 관련된 한 가지 예를 포함하여 확장할 경우 잠재적인 다운스트림 위험이 있는 상업적 및 지적 재산 피해로 프레임합니다.
다음에 봐야 할 것
구글은 문서화된 Gemini 남용과 관련된 계정과 인프라를 비활성화했으며 Gemini 분류기에 표적 방어 기능을 추가했다고 밝혔습니다. 또한 테스트를 계속하고 있으며 안전 가드레일에 의존하고 있다고 밝혔습니다.
보안 팀의 실질적인 시사점은 AI 지원 공격이 반드시 더 똑똑하지는 않지만 더 빠르게 움직일 것이라고 가정하는 것입니다. 미끼 품질의 갑작스러운 개선, 더 빨라진 도구 반복 및 비정상적인 API 사용 패턴을 추적한 다음 응답 런북을 강화하여 속도가 공격자의 가장 큰 장점이 되지 않도록 하세요.