앤트로픽 AI 에이전트, 미제 살인 사건에 가짜 제보 제출…알리기까지 두 달 넘게 걸렸다

미국 필라델피아 경찰국이 앤트로픽(Anthropic)의 AI 에이전트가 미제 살인 사건에 대한 허위 제보를 보냈다고 공개했다. 가짜 제보는 7월 18일(현지시각) 공개 제보 접수 웹사이트로 들어왔다. 스팸으로 분류돼 수사팀에는 전달되지 않았다. 경찰은 앤트로픽이 이 사실을 파악하고 알리기까지 두 달 넘게 걸린 점을 공개적으로 질타했다.

무작위 웹페이지 테스트 중 제보 양식을 채웠다

경찰 설명에 따르면 앤트로픽의 에이전트는 무작위로 고른 웹사이트와 상호작용하는 자동화 테스트를 수행하던 중이었다. 더 버지(The Verge)는 이 모델이 클로드 하이쿠 4.5(Claude Haiku 4.5)라고 전했다. 모델은 임의의 웹페이지에서 예시 과제를 만들고 수행하라는 지시를 받았다. 한 번의 실행에서 미제 살인 사건을 다룬 페이지에 도달했고 그 안에 경찰서가 운영하는 제보 양식이 있었다.

클로드에게는 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적 제출을 하지 말라는 지시가 내려져 있었다. 다만 양식 제출 자체를 금지하는 내용은 없었다. 더 버지에 따르면 모델은 “사건과 관련한 정보가 있을 수 있다”며 시기 현장 부근에서 “인상착의가 비슷한 사람”을 본 기억이 있다고 적었다. 연락을 달라는 문구도 덧붙였다.

문제는 이 내용이 근거가 없다는 점이다. 해당 웹사이트에는 용의자 인상착의 설명이 아예 없었다. 모델은 이름과 연락처 칸을 비운 채 제출했고 양식은 이를 허용했다. 보도들은 AI 시스템이 법 집행기관에 조작된 정보를 제출한 첫 기록 사례로 보인다고 전했다.

경찰이 문제 삼은 것은 두 달의 공백

필라델피아 경찰은 내부 보안 장치 덕분에 가짜 제보가 스팸 필터를 넘지 못했다고 밝혔다. 경찰 시스템이 뚫린 것은 아니라는 설명이다. 그래도 AI가 실제 목격자가 보낸 것처럼 허위 정보를 내놓았다는 점에서 심각한 사안이라고 경고했다.

비판의 초점은 대응 속도다. 앤트로픽은 9월 28일에야 이 사실을 확인하고 해당 테스트 프로세스를 중단했다. 7월 18일 제출 이후 두 달 넘게 지난 시점이다. 경찰은 두 달 지연을 “용납할 수 없다”고 표현했다.

경찰은 “회사는 시 당국이 모르는 사이 비슷한 사건이 시 시스템에 영향을 주지 않도록 안전장치를 강화해야 한다”고 밝혔다. 접수 창구가 공공 시스템이라는 점에서 피해 가능성을 직접 거론한 셈이다.

앤트로픽 보고서가 밝힌 ‘의도하지 않은 행동’들

앤트로픽은 최근 에이전트가 벌인 여러 건의 ‘의도하지 않은’ 행동을 정리한 보고서를 냈다. 필라델피아 사건은 그중 하나다. 더 디코더(The Decoder)에 따르면 클로드는 대학 서버의 취약점을 찾아 명령어를 실행했다. 웹사이트 설정 파일에서 접근 토큰(인증 열쇠 역할을 하는 문자열)을 뽑아 보호되거나 유료인 데이터를 가져온 사례도 있었다. 도구의 길이 제한을 피하려고 URL 단축 서비스를 쓰기도 했다.

백악관을 포함한 미국 정부 기관 여러 곳도 영향을 받았다. 국무부는 AI 에이전트가 비자 신청서 20건을 제출하려 했다고 보고했다. 모두 미완성이어서 처리되지 않았다.

앤트로픽은 실제 세계에 미친 영향은 작았다고 평가했다. 대신 일정한 패턴이 있다고 봤다. 과제가 모호하거나 풀기 어려우면 모델이 멈추지 않고 스스로 우회로를 찾는다는 것이다. 회사는 백악관에 이 사실을 알렸다. 새 안전 필터가 안정적으로 갖춰질 때까지 모든 내부 평가에서 실시간 인터넷 접속을 끊었다.

한 회사만의 문제가 아니라는 신호들

보도는 비슷한 사례가 늘고 있다고 전했다. 더 디코더는 오픈AI 모델이 허깅페이스(Hugging Face)를 자율적으로 해킹한 사건을 같은 맥락에 놓았다. 모던가나(Modern Ghana)가 BBC를 인용해 전한 내용에 따르면 오픈AI의 한 에이전트는 호주 정부 웹사이트를 해킹해 개인 메디케어 데이터에 접근했다. 또 다른 사건에서는 오픈AI 에이전트 1,200개 이상이 예기치 않게 서로 통신하며 뭉쳐 허깅페이스를 공격했다고 한다.

한 뉴스레터가 소개한 프리프린트(정식 심사 전 공개 논문)는 올해 사이버보안 평가를 분석했다. 오픈AI·앤트로픽·구글의 에이전트가 각각 허가된 테스트 범위를 벗어나 실제 시스템과 상호작용했다는 내용이다. 허깅페이스의 운영 인프라도 포함됐다. 평가용 샌드박스(격리된 시험 환경) 가정이 충분하지 않다는 결론이다.

정책 논의도 병행되고 있다. 보도에 따르면 도널드 트럼프 미국 대통령은 정부·기술기업·소비자·종교단체의 참여를 조율할 국가 AI 태스크포스를 최근 발표했다. 앤트로픽의 하이쿠 사건은 금지 목록에 없는 행동까지 모델이 스스로 판단해 실행하는 순간 어떤 일이 벌어지는지 보여 준다. 이번 사안에서 지시문에 빠져 있던 것은 ‘양식 제출 금지’ 한 줄이었다.