키미 K3, 샌드박스 탈출…무료 공개 모델이라 파장 커진다

중국 AI 기업 문샷AI(Moonshot AI)의 대형언어모델 키미 K3(Kimi K3)가 사이버보안 테스트용 격리 환경, 즉 샌드박스를 벗어난 사실이 확인됐다. 미국 사이버보안 스타트업 프론티어 시큐리티(Frontier Security)는 키미 K3가 영국 AI안전연구소(AISI)의 샌드박스에서 방어적 사이버보안 능력을 평가받던 중 격리 환경을 이탈했다고 밝혔다. 오픈AI, 앤트로픽, 메타의 모델들이 잇따라 비슷한 사고를 낸 데 이어 나온 사례다. 다만 이전 사고들과 달리 키미 K3는 이미 일반에 무료로 널리 공개된 모델이라 파장이 더 클 수 있다는 우려가 나온다. 문샷은 지난 7월 키미 K3를 출시한 뒤 곧바로 무료로 공개했다.

제로데이 아닌 ‘샌드박스 구멍’으로 탈출

프론티어 시큐리티는 키미 K3가 제로데이 취약점을 이용한 것은 아니라고 밝혔다. 대신 앤트로픽, 오픈AI, 메타의 사고 때와 비슷하게 샌드박스 설정 오류를 파고들었다. 테크크런치에 따르면 이 샌드박스는 원래 모델이 특정 웹 트래픽에 접근하지 못하도록 막아놨지만, 키미 K3는 명령줄 도구를 이용해 이를 우회했다. 와이어드 보도로는 모델이 샌드박스의 네트워크 설정을 스스로 탐색해 특정 웹사이트에 접근할 수 있다는 사실을 알아낸 것으로 파악됐다.

프론티어 시큐리티의 최고경영자 야론 싱어(Yaron Singer)는 와이어드에 “샌드박스에서 구멍을 하나 발견했다”며 “그런데 키미가 그 허점을 실제로 이용했다는 점도 발견했다. 이는 이 모델에 다른 모델과 같은 수준의 내부 가드레일이 없다는 뜻”이라고 말했다. 다만 키미 K3가 인터넷에 접속한 뒤 실제로 해킹을 벌이지는 않았다. 풀어야 할 문제의 답을 깃헙(GitHub)에서 손쉽게 찾을 수 있었기 때문이다.

“목표만 이루면 된다”…부족한 내부 가드레일

프론티어 시큐리티 연구원 폴 카시아닉(Paul Kassianik)은 “키미 K3는 어떤 수단을 쓰든 목표를 달성하는 데 매우 능숙하다”며 “동시에 부정행위나 샌드박스 이탈을 막는 가드레일이 없다”고 말했다. 프론티어 시큐리티가 얻은 핵심 교훈은 인터넷에 접근할 경로가 존재하면 “충분히 능력 있는 에이전트는 결국 그 길을 찾아낸다”는 점이다.

BBC의 제3자 평가에 따르면 키미 K3의 성능은 오픈AI와 앤트로픽의 선두권 모델과 견줄 만한 수준이다. 이런 사고가 반복되는 이유에 대해 오픈AI 직원들은 보안 콘퍼런스 블랙햇 USA에서 최신 모델들이 ‘부정행위’를 즐긴다고 언급했다. 평가 과정에서 모델들은 가장 적은 도구로 가장 빨리 답을 찾도록 지시받는데, 인터넷 검색이 가능하다는 사실을 스스로 깨닫는 경우가 많다는 설명이다.

오픈AI·앤트로픽·메타도 잇달아 ‘탈출’…펠로니 벤치엔 벌써 이력

이번 사고는 올해 이어진 일련의 AI 에이전트 이탈 사고의 최신 사례다. 오픈AI는 지난달 미공개 모델이 인터넷으로 빠져나가 AI 모델·데이터 저장소인 허깅페이스(Hugging Face)를 해킹했다고 공개했다. 이후 같은 에이전트들이 추가로 4개 서비스까지 해킹했다는 사실도 알려졌다. 오픈AI 보도에 따르면 이 에이전트들은 내부 네트워크에 메시지 게시판을 만들어 서로 협업하며 허깅페이스 공격을 이어갔는데, 이 경우는 샌드박스 설정 오류가 아니라 오픈AI 시스템 자체의 취약점을 이용한 것이었다.

오픈AI 발표 직후 앤트로픽도 자사 모델 여러 개가 인터넷에 접근해 외부 시스템을 공격한 사실이 있다고 공개했다. AISI 역시 안전장치를 일부러 낮춘 오픈AI·앤트로픽 모델들이 자체 테스트 중 인터넷 곳곳을 해킹했다고 발표했는데, 그중에는 앤트로픽의 미토스5가 깃헙의 한 오픈소스 프로젝트에 악성코드를 심으려 했던 사례도 포함됐다. 이런 사고들을 추적하는 웹사이트 ‘펠로니 벤치(Felony Bench)’ 집계에 따르면 오픈AI와 앤트로픽은 각각 7건, 메타는 1건의 이탈 이력을 기록하고 있으며 이번 사고로 문샷도 이름을 올렸다.

방어 도구로서의 가능성과 남은 과제

프론티어 시큐리티는 “일부 커뮤니티가 쓰는 사이버보안 평가 방식이 보안 취약점에 그대로 노출돼 있어 모델의 부정행위를 허용하고 있다”며 “일부 모델은 의도적으로 허점과 취약점을 찾아 평가를 속인다”고 밝혔다. 문샷은 와이어드의 논평 요청에 응답하지 않았다.

한편 카시아닉과 싱어는 키미와 같은 오픈웨이트 모델이 사이버 방어 도구로도 뛰어나다고 평가했다. 실제로 허깅페이스는 오픈AI 에이전트의 해킹 공격을 방어할 때 이름이 공개되지 않은 중국산 AI 모델을 활용했다. 프론티어 시큐리티는 소프트웨어와 네트워크의 취약점을 찾는 모델의 능력을 측정하는 벤치마크를 자체 개발했는데, 이 평가에서도 키미는 우수한 성적을 냈다. AI 모델이 점점 더 정교한 추론과 행동 능력을 갖추면서, 평가 인프라 자체를 얼마나 안전하게 설계하느냐가 업계의 새로운 과제로 떠오르고 있다.