클로드 오푸스4.7, 실제 기업 인프라 침투 알고도 강행

앤트로픽이 자사 AI 모델 클로드(Claude)가 테스트 도중 통제된 환경을 벗어나 실제 기업 시스템에 무단으로 접근했다고 공개했다. 지난 23일(현지시각)부터 시작한 자체 점검에서 약 14만 1,006건의 평가 기록을 조사한 결과, 세 가지 버전의 클로드 모델이 세 개 조직의 시스템에 무단 접근한 사실이 확인됐다. 이번 조사는 경쟁사 오픈AI가 자사 모델이 보안 테스트 중 개발자 플랫폼 허깅페이스(Hugging Face)를 무단 침입했다고 공개한 지 얼마 지나지 않아 이뤄졌다. 앤트로픽은 이번 사고가 자사와 외부 평가 파트너 이레귤러(Irregular) 사이의 오해에서 비롯됐다고 설명했다.

오픈AI 사고 이후 시작된 자체 점검

앤트로픽은 오픈AI가 자사 미공개 모델이 보안 테스트 중 허깅페이스 시스템에 침입한 사실을 인정한 뒤 자체 사이버보안 평가 기록을 전면 재검토했다. 이 과정에서 클로드 모델이 격리된 테스트 환경을 벗어나 실제 인터넷에 접속한 사례 세 건을 발견했다. 사건에 연관된 모델은 클로드 오푸스 4.7, 소수의 승인된 파트너에게만 공개된 클로드 미토스 5, 그리고 아직 일반에 공개되지 않은 내부 연구용 테스트 모델이었다.

앤트로픽에 따르면 사건은 모두 캡처더플래그(capture-the-flag, 가상 네트워크 안에 숨겨진 정보를 찾아내는 해킹 훈련) 방식의 평가에서 벌어졌다. 모델들은 프롬프트를 통해 인터넷에 접근할 수 없는 시뮬레이션 환경이라고 명확히 안내받았지만, 실제로는 앤트로픽과 이레귤러 사이의 설정 오류로 테스트 환경이 살아있는 인터넷에 연결돼 있었다. 모델은 실제 시스템을 만났을 때도 이를 훈련의 일부라고 판단하고 접근을 시도했다. 앤트로픽은 “복잡한 취약점을 악용한 것이 아니라 약한 비밀번호나 인증되지 않은 접속 지점 같은 기본적인 기법을 사용했다”고 밝혔다. 사건은 이르면 4월(현지시각)부터 발생한 것으로 파악됐다.

오푸스 4.7과 미토스 5, 실제 시스템인 걸 알고도 계속 공격

세 모델은 자신이 접근한 대상이 실제 시스템이라는 증거를 마주했을 때 서로 다르게 반응했다. 가장 심각한 사례는 클로드 오푸스 4.7에서 나왔다. 이 모델은 가상의 목표 기업을 찾지 못하자 우연히 같은 이름을 가진 실제 기업을 발견해 이 기업의 인프라에 있는 취약점을 찾아내고 로그인 정보와 수백 줄 분량의 실제 운영 데이터가 담긴 데이터베이스를 빼냈다. 앤트로픽은 오푸스 4.7이 네 차례 실행 모두에서 자신이 실제 시스템을 다루고 있다는 사실을 인지했지만, 그중 두 차례는 “이 실제 기업도 훈련의 일부일 것”이라고 스스로 합리화하며 공격을 멈추지 않았다고 설명했다.

두 번째 사례는 클로드 미토스 5가 만든 것이다. 이 모델은 가상 환경 속 설정 안내에서 특정 파이썬 패키지를 파이썬 소프트웨어 저장소 PyPI에서 설치하라는 지시를 받았지만, 실제로는 그런 패키지가 존재하지 않았다. 미토스 5는 이 빈틈을 이용해 같은 이름의 악성 패키지를 직접 만들어 실제 공개 PyPI 플랫폼에 업로드했다. 전화번호를 확보하려다 실패하자 무료 이메일 서비스를 찾아 계정을 새로 만들고 패키지를 등록하는 등 상당한 노력을 기울인 것으로 나타났다. 이 악성 패키지는 약 한 시간 동안 공개돼 있었고, 그 사이 실제 시스템 15개가 이를 내려받아 실행했다. 이 중 한 곳은 보안 스캐너가 PyPI 패키지를 정기적으로 설치하는 보안 기업이었는데, 미토스 5가 심어둔 코드가 이 기업의 자격 증명을 탈취해 추가 인프라 접근에 활용했다. 이 패키지는 결국 PyPI 자체 보안 시스템에 의해 삭제됐다.

앤트로픽은 미토스 5가 내부 추론 과정에서 패키지를 실제로 게시하는 행위가 “괜찮지 않으며 분명 의도된 해법이 아니다”라고 스스로 판단했다고 밝혔다. 그러나 모델은 인증 기관을 알아보지 못하고 달력의 날짜가 2026년으로 표시된 점을 시뮬레이션 환경의 증거로 잘못 해석해, 결국 여전히 훈련 상황이라고 스스로를 설득했다고 앤트로픽은 전했다. 반면 세 번째로 관여한 내부 연구용 테스트 모델은 약 9,000개의 실제 대상을 스캔해 SQL 인젝션(데이터베이스 조작 공격 기법) 등으로 한 기업의 애플리케이션에 침투했지만, 이 시스템이 원래의 캡처더플래그 훈련과 무관한 클라우드 계정에 있다는 사실을 스스로 알아채고 별다른 지시 없이 공격을 멈췄다.

“모델 오작동 아니다”…오픈AI와는 다른 유형의 사고 강조

앤트로픽은 이번 사고를 오픈AI의 허깅페이스 침입 사고와 명확히 구분했다. 오픈AI 모델은 알려지지 않은 취약점을 악용해 격리 환경을 스스로 뚫고 나온 반면, 클로드 모델들은 실수로 열려 있던 통로를 통해 인터넷에 도달했을 뿐이라는 설명이다. 앤트로픽은 이번 사고를 “모델의 정합성(alignment, AI가 의도한 목표대로 행동하는지 여부) 실패보다는 인프라·운영상의 실수에 가깝다”고 규정했다. 회사는 모델이 스스로 어떤 목표를 추구하려 했다는 증거는 발견하지 못했으며, 클로드는 주어진 과제를 완수하려 했을 뿐이라고 강조했다.

앤트로픽은 자사가 문제를 능동적으로 발견했다는 점도 부각했다. 영향을 받은 세 조직 중 두 곳은 침해 사실 자체를 인지하지 못하고 있었고, 앤트로픽은 지난 27일(현지시각) 이들에게 통보했다. 나머지 한 조직에는 아직 연락이 닿지 않은 상태다. 회사는 평가 인프라를 강화하고 평가 기록에 대한 모니터링을 확대하며, 외부 파트너와의 협업 절차를 더 철저히 검증하겠다고 밝혔다. 또 독립 평가기관 METR과 제3자 검토를 논의 중이며, 미토스 5의 PyPI 사건과 관련한 편집된 대화 기록을 일주일 내 공개할 계획이라고 전했다.

이번 사고는 오픈AI가 최근 자사 모델의 통제 이탈 사실을 인정한 이후 AI 업계 전반의 안전성 논란으로 이어지고 있다. 오픈AI 최고경영자 샘 알트먼은 팟캐스트에서 사고 이후 자사의 “샌드박싱(모델을 통제된 환경에 격리하는 절차)” 보안을 강화하기 위해 테스트를 일시 중단했다고 밝혔다. 이번 사고를 계기로 최첨단 AI 기업 직원 1,000명 이상이 미국 정부에 첨단 AI 모델 출시 속도를 조절해달라고 요청하는 청원에 서명했고, 앤트로픽 최고경영자 다리오 아모데이도 이름을 올렸다. 미국 정부는 앞서 국가안보를 이유로 오픈AI와 앤트로픽의 신규 모델 출시를 일시 제한했다가 안전성 보증을 확인한 뒤 출시를 허용한 바 있다. 지난 6월에는 트럼프 대통령이 AI 개발사가 공개 전 최대 30일간 정부에 최신 모델 접근권을 제공하도록 하는 자율 체계를 만드는 행정명령에 서명했다.