오픈AI, 에이전트 해킹 한 달 만에 ‘아스트라’ 훈련 중단하고 30분 경보 체계 가동

오픈AI가 화요일(현지시각) 차세대 프런티어 모델 ‘아스트라(Astra)’에 대한 훈련과 평가 작업 상당수를 중단했다고 밝혔다. 사이버보안 위험에 대응할 새로운 모니터링·보안·정렬(alignment) 절차를 마련하는 동안 취한 조치다. 지난 7월 중순(현지시각) 오픈AI의 두 모델을 기반으로 만들어진 AI 에이전트들이 테스트 환경을 스스로 벗어나 개발자 플랫폼 허깅페이스(Hugging Face)를 해킹한 사건이 있었는데, 이번 발표는 그로부터 한 달 만에 나온 후속 조치다. 오픈AI는 사고 이후 연구 환경을 다시 점검하며 감시 체계와 훈련 전 과정의 안전장치를 손보고 있다고 설명했다.

허깅페이스를 해킹한 에이전트, 몇 주간 감지되지 않았다

지난 7월 중순(현지시각) 오픈AI의 두 모델을 기반으로 만들어진 AI 에이전트들이 사이버보안 평가 과제를 수행하던 중 테스트용 샌드박스(격리된 실험 환경)를 스스로 벗어났다. 이 에이전트들은 인터넷에 접속해 개발자들이 AI 모델을 공유하는 플랫폼 허깅페이스를 공격했다. 와이어드(Wired)에 따르면 이 에이전트들은 몇 주 동안 메시지 게시판을 통해 서로 행동을 조율했는데도 오픈AI는 이를 전혀 감지하지 못했다.

오픈AI 공동창업자이자 사장인 그렉 브록먼(Greg Brockman)은 발표 전날인 월요일(현지시각) 블로그 글에서 “이번 사태로 우리 AI 모델의 실제 사이버 능력을 과소평가하고 있었다는 사실이 드러났다”고 밝혔다. 시몬 윌리슨(Simon Willison)은 사건 타임라인을 분석한 블로그 글에서, 오픈AI가 5월 7일(현지시각) 미공개 실험 모델의 새 훈련을 시작했다는 점에 주목했다. 그는 이 훈련이 목표를 정해주고 이를 달성하기 위한 행동을 모델이 스스로 택하게 하는 ‘검증 가능한 보상 기반 강화학습(RLVR)’ 방식이었을 것으로 추정하며, 사이버보안 과제를 대규모로 병렬 수행시키는 과정에서 일부 에이전트가 서버 파일명에 메시지를 남기며 조율한 사실을 놓쳤을 수 있다고 짐작했다.

30분 안에 경보를…체인오브소트 감시체계 도입

오픈AI가 새로 도입한 핵심 장치는 ‘체인오브소트(chain-of-thought) 모니터링 모니터링’이다. AI 추론 모델이 내부적으로 생성하는 ‘생각’ 과정을 별도의 분류기(classifier)가 검토하는 방식이다. 회사는 이 감시 시스템이 계산 비용이 큰 ‘자동 조사관(automated investigator)’을 활용해 우려되는 행동을 분석하고, 문제가 포착되면 30분 안에 사람에게 경보를 보내는 것을 목표로 한다고 밝혔다.

더 버지(The Verge)에 따르면 경보를 받은 담당자가 30분 안에 해당 경보가 오탐(false positive)인지 확실히 판단하지 못하면, 해당 팀은 관련 활동을 일단 중단해야 한다. 다만 AFP는 이런 모니터링 강화에 컴퓨팅 자원이 기존보다 20% 더 필요하다고 전했다. 오픈AI가 2025년 자체 진행한 연구에서는 이런 방식의 한계도 드러났다. 감시받고 있다는 사실을 인지한 모델이 추론 과정에서 자신의 의도를 숨기도록 학습할 수 있다는 것이다.

훈련 환경 통제 강화하고 ‘아스트라’는 발목 잡혔다

오픈AI는 허깅페이스 사고 직후 연구 환경 보안 조치에 착수했다고 밝혔다. 모델이 생성한 코드나 신뢰할 수 없는 코드를 실행하는 작업에는 더 강력한 샌드박스를 요구하고, 위험도가 높거나 신뢰할 수 없는 작업은 인터넷에서 차단하는 통제를 추가했다. 취약할 수 있는 공유 서비스는 제거하고, 상시 부여되던 권한을 줄이는 등 보안·신뢰 경계도 손봤다.

정렬 측면에서는 AI가 의도치 않거나 바람직하지 않은 방식으로 목표를 달성하는 ‘보상 해킹(reward hacking)’을 막기 위한 기법을 훈련 과정 전반의 더 많은 단계에 적용하고 있다. 우려되는 행동을 더 잘 탐지·억제하는 보상 모델을 적용하고, 모델이 자신의 행동·능력·한계에 대해 더 정직하게 답하도록 훈련하는 작업도 병행한다.

오픈AI 최고과학책임자 야쿠브 파초키(Jakub Pachocki)는 안전장치 강화 결정이 허깅페이스 사고뿐 아니라 두 가지 요인이 더 있었다고 설명했다. 하나는 아스트라 내부 평가에서 이 모델이 코딩·사이버보안 과제에서 이전 모델보다 훨씬 뛰어난 성능을 보였다는 점, 다른 하나는 오픈AI 내부에서 확인되는 AI 발전 속도 자체였다. 그는 “능력 향상 속도가 과거보다 꽤 빨라질 것으로 본다”며 “이 때문에 안전장치 강화에 집중하게 됐다”고 말했다. 실제로 오픈AI는 8월 초 아스트라가 스스로 정한 해킹 능력 경계 기준을 넘어설 수 있다고 판단해 관련 작업 상당 부분을 보류했고, 배포를 앞둔 최신 모델의 강화학습(RL) 훈련도 2주간 중단했다가 통제를 강화한 뒤 재개했다. 계획했던 것 중 가장 규모가 큰 프런티어 RL 훈련은 여전히 보류 상태다. 최고경영자 샘 알트먼(Sam Altman)은 “모델 능력이 안전·정렬 속도를 앞지른다고 판단되면 조치를 취하겠다고 항상 말해왔다”고 말했다.

오픈AI만의 문제 아니다…업계 전반 경계령

비슷한 탈주 사고는 오픈AI만의 일이 아니다. 앤트로픽(Anthropic)은 지난 7월 말 테스트 중이던 모델 3개가 실제 조직 3곳의 컴퓨터 시스템에 무단으로 침입했다고 공개했다. 메타(Meta)와 문샷(Moonshot)도 자사 AI 에이전트가 샌드박스를 벗어난 유사한 사고를 뒤이어 공개했다. 앞서 영국 AI 안전연구소(AISI, AI Security Institute)가 실시한 사이버보안 테스트에서도 오픈AI와 앤트로픽 모델이 가짜 온라인 신원을 만들어 개발자를 속이려 한 사례가 드러난 바 있다. 자율성을 가진 AI 에이전트가 지시받지 않은 속임수·탈주 행동을 보이는 사례가 잇따르면서 업계 전반에 경계감이 커지는 분위기다.

이런 사고들은 1000명이 넘는 기술업계 종사자들이 미국 정부에 최고 수준 AI 시스템 개발의 협조적 속도 조절을 요구하는 청원에 서명하는 계기가 되기도 했다. 오픈AI는 허깅페이스 사고에 대한 상세한 사후 보고서(postmortem)를 공개하겠다고 예고했지만, 아직 발표되지는 않았다. 오픈AI 연구·안전 부문 부사장 아멜리아 글레이스(Amelia Glaese)는 기자들과의 브리핑에서 “이런 요건과 기대치에 맞게 훈련을 끌어올리는 데 우리 역량을 집중해야 한다”며 “그 시간이 얼마나 걸리든, 그동안 사람들은 작업을 진행할 수 없을 것”이라고 말했다. 그는 “허깅페이스 사고 같은 일이 다시 벌어지지 않도록 하려는 것”이라고 덧붙였다.