섀도AI가 부른 싱가포르 첫 AI 유출 사고, 괄호 하나 빠져 9만 5,364명 주소 노출

싱가포르에서 AI와 관련된 첫 개인정보 유출 사고로 여겨지는 사례를 규제당국이 공개했다. 육포 제조업체 Bee Cheng Hiang은 직원이 개인적으로 쓴 생성형 AI 도구로 만든 이메일 발송 스크립트 탓에 마케팅 수신 목록 9만 5,364명의 이메일 주소를 노출했다. 회사가 파악하지 못한 채 쓰이는 AI, 이른바 섀도AI(shadow AI)가 원인으로 지목됐다. 함께 살펴본 여러 보도와 분석은 같은 위험이 한 회사에 그치지 않는다고 짚는다.

괄호 하나가 빠진 스크립트, 주소 9만 5천 개를 드러냈다

싱가포르 개인정보보호위원회(PDPC)에 따르면 Bee Cheng Hiang은 사고를 4월에 위원회에 통지했다. 문제의 마케팅 이메일은 4월 25일(현지시각) 고객들에게 발송됐다. 수신 목록의 이메일 주소가 전부 노출됐고 피해자는 회원 95,364명이다. 유출된 개인정보는 이메일 주소뿐이었다.

원인은 직원 한 명이 개인적으로 쓴 생성형 AI 도구로 만든 파이썬 이메일 발송 스크립트였다. 코드에서 괄호 하나가 빠지는 바람에 한 묶음 안의 모든 수신자 주소가 개별 항목이 아니라 하나의 객체로 묶여 ‘받는 사람’ 칸에 들어갔다. 메일을 1,000건씩 나눠 보냈기 때문에 각 주소는 같은 묶음의 최대 999명에게 공개됐다.

PDPC는 AI 도구가 오작동한 것은 아니라고 선을 그었다. 직원이 AI에 ‘로컬 목록을 이용해 대량 메일을 묶음 단위로 보내는 프로그램’을 쓰라고 요청했을 뿐 다른 수신자의 주소를 가리라는 구체적 지시는 없었다는 설명이다. 직원은 실제 테스트 메일의 내용을 확인하지 않고 활동 로그만 보는 방식으로 테스트해 오류를 알아채지 못했다. PDPC는 노출된 데이터가 AI 기반 작업으로 관리·처리·생성된 것이 아니며 추가 오용 증거도 없다고 밝혔다.

규제당국이 짚은 허점과 5가지 이행 약속

Bee Cheng Hiang은 오류를 확인한 뒤 대량 마케팅 메일 발송을 즉시 중단하고 스크립트를 고쳤다. 피해자 전원에게 통지했고 앞으로 모든 대량 메일은 직원 2명 이상이 이중으로 확인한 뒤 보내기로 했다. PDPC는 그럼에도 회사에 세 가지 허점이 있었다고 봤다. 배포 전 테스트가 충분히 탄탄하지 않았고 한 직원에게만 의존하며 감독자의 검토 절차가 없었다. 업무에서 생성형 AI를 쓸 때 직원을 이끌 거버넌스 체계와 정책도 없었다. 회사가 AI 도구를 업무에 접목하려 한 것은 이번이 처음이었다.

PDPC는 2012년 제정된 개인정보보호법(PDPA) 준수를 높이겠다는 회사의 자발적 이행 확약을 받아들였다. 확약에는 다섯 가지가 담겼다. 개인정보가 얽힌 AI 생성 코드를 독립적으로 기술 검토하는 AI 보조 코딩 거버넌스 체계(AI Verify 테스트 프레임워크의 AI 거버넌스 원칙 11개 반영)를 도입한다. 실제 발송 전에 가짜 수신 계정으로 테스트 메일을 보내는 보안 개발 절차를 갖춘다. 대응을 문서화된 유출 대응 절차로 만든다. 한 이메일 객체에 여러 수신자 주소가 담긴 대량 메일 전송을 막는 자동 기술 통제를 넣는다. 개인정보를 다루는 시스템의 개발·검토·배포 인력에게는 체계적인 인식 교육을 한다.

PDPC는 확약 이행을 직접 확인하겠다고 밝혔다. 조건을 지키지 못하면 이행을 강제하는 지시를 내릴 수 있다. Keeper Security의 아시아태평양·일본 지역 총괄 수석부사장 Takanori Nishiyama는 아시아태평양 직원들이 일상 업무를 자동화하려고 AI 코딩 도구를 쓰지만 거버넌스는 도입 속도를 따라가지 못하는 경우가 많다고 말했다. 그는 생성형 AI가 코드 작성과 배포를 계속 빠르게 할 것이라면서도 규제당국은 운영 환경에 올라가는 모든 코드에 책임을 요구한다고 짚었다.

막는다고 사라지지 않는다…금지가 오히려 AI를 숨긴다

섀도AI는 IT·보안팀이 볼 수 없는 AI 사용을 뜻한다. 시큐리티브리프 아시아에 실린 인디(Inde)의 설명에 따르면 챗GPT·클로드·제미나이뿐 아니라 일상 업무 소프트웨어에 들어 있는 AI 기능도 해당한다. 가트너(Gartner) 조사에서는 조직의 69%가 직원이 금지된 공용 생성형 AI를 쓴다고 의심하거나 증거를 갖고 있었다. 가트너는 2030년까지 기업의 40% 넘게 승인되지 않은 섀도AI와 관련한 보안·규정 준수 사고를 겪을 것으로 예측했다.

위험은 소프트웨어 설치보다 프롬프트에 무엇을 입력하느냐에 있다. 2023년 삼성 유출 사건이 대표 사례다. 엔지니어가 사내 제품 회의록을 요약하려고 공용 AI 도구를 썼다가 기밀 제품 정보가 회사 밖으로 나갔다. 인디는 개발팀이 오류 메시지를 AI에 붙여넣다 직원·고객 정보가 함께 섞여 들어가거나 회계 담당자가 이사회 보고 전에 연간 보고서를 공용 도구에 넣는 경우를 위험으로 들었다. 개인 구독 계정에 들어간 정보는 사내 로그가 없어 무엇을 언제 공유했는지 증명할 수 없다. 무료 체험을 내건 가짜 클로드·챗GPT 링크로 랜섬웨어가 기기에 깔리는 일도 현실의 위협으로 거론됐다.

인디가 내놓은 수치는 금지의 역효과를 보여 준다. 도구를 열어 둔 인디에서는 조직의 70~80% 정도가 AI를 일상적으로 쓴다. 반대로 금지하면 대개 IT 부서 중심의 20~25%만 쓸 수 있고 나머지 75~80%가 섀도AI가 된다는 계산이다. 인디는 공식 도구로 마이크로소프트 코파일럿(Microsoft Copilot)을 쓰고 이를 토대로 만든 사내 도구 ‘Inde Chat’으로 고객 제안서 초안 등을 작성한다. 개발팀이 코파일럿의 한계를 지적하자 보안·네트워크·데이터·AI 부서가 참여하는 부문 간 실무 그룹을 꾸려 클로드 엔터프라이즈와 비교한 뒤 경영진에 권고안을 올리기로 했다. 세일즈포스나 서비스나우 같은 업무 앱에 내장된 AI 기능도 꺼져 있다가 언젠가 켜질 때 거버넌스 대상이 된다고 인디는 덧붙였다.

에이전트 시대, 거버넌스의 단위가 ‘사람’에서 ‘AI’로 바뀐다

서비스나우가 최근 공개한 보고서에 따르면 전 세계 조직 10곳 중 9곳이 지난 1년 사이 에이전틱 AI(스스로 작업을 수행하는 AI) 보안 사고를 겪었다. 이 가운데 36%가 24시간 안에 사고를 수습했다. 많은 보안 책임자가 스스로는 에이전트 보안 체계를 갖췄다고 평가하지만 공격 표면·책임성·설계 단계 보안·가시성·감사 준비도 5개 영역으로 따지면 방어 가능한 프로그램을 가진 곳은 13%였다. 보도 제목은 조직의 35%가 AI 에이전트를 1,000개 넘게 운영한다고 전한다.

남아프리카공화국에서 열린 ‘2026 IT 인다바’의 첫 패널 토론도 같은 문제를 다뤘다. 샌튼 컨벤션센터에서 열린 행사에는 2,400명이 넘는 IT 전문가가 참석했다. Omnia Group의 그룹 CIO(최고정보책임자) Peter Robb은 에이전트를 새로운 종류의 신원으로 보고, 모든 에이전트에 소유자·신원·범위·관찰 가능성·수명주기 5가지 관문을 적용한다고 소개했다. 사람이 책임져야 하고 에이전트별 자격 증명이 있어야 하며 권한은 역할이 아닌 작업 단위로 줄이고 폐기되지 않은 채 돌아가는 에이전트가 없어야 한다는 뜻이다. 그는 컨설턴트가 고객사 데이터를 자체 AI 모델에 넣는 위험도 경고하며 협업용 격리 공간인 ‘클린룸’을 쓴다고 했다.

Sasol의 디지털·운영 부문 부사장 Thato Sopeng은 조직이 커서 거대언어모델 사용을 막는 것은 산소를 막는 일과 같다고 말했다. 표준 기업용 AI 도구를 하나 두되 직원의 실험은 장려하고 지식재산이 올라가지 않도록 통제하며 IT뿐 아니라 법무·운영이 참여하는 AI 거버넌스 위원회를 운영한다고 했다. 사용량에 따라 비용이 붙는 AI의 ‘토큰 경제’도 관리 대상이다. 상위 사용자에게 토큰 상한을 둔다. QCTOE의 IT 책임자 Tafadzwa Ramhewa는 직원이 승인 대안이 있어도 무료 AI 도구로 쏠린다며 무료 AI 회의록 도구도 지뢰밭이 될 수 있다고 했다. 월간·분기별 교육을 하는 이유다.

포티넷이 고객사인 비즈니스 리포터가 인디펜던트에 게재한 글도 가시성을 강조했다. 미국에서는 은행 직원이 승인되지 않은 AI 도구로 고객 정보를 처리해 공식적인 유출 공시를 해야 했다는 사례가 소개됐다. 포티넷의 2025년 내부자 위험 보고서에서는 조직의 77%가 최근 18개월 안에 내부자發 데이터 손실을 겪었지만 악의가 확인된 사고는 16%에 그쳤다. 글은 직원이 공용 AI 도구에 민감 정보를 넣으려 할 때 경고하는 식의 개입을 권한다. 영국 사이버보안·회복력 법안은 필수 서비스에 영향을 준 사이버 사고를 24시간 안에 1차 통지하고 72시간 안에 상세 보고하도록 요구한다고 한다.