오픈AI '프로젝트 릴리', 계약직 수백명이 챗GPT 대화 채점…비밀 요청도 뚫렸다

오픈AI가 챗GPT 이용자와 나눈 실제 대화를 계약직 인력 수백 명에게 맡겨 읽고 평가하도록 하고 있다는 사실이 드러났다. 미국 매체 404미디어가 유출된 내부 문서를 확보하고 추가 취재를 거쳐 보도한 내용이다. 오픈AI 내부에서는 이 작업을 “프로젝트 릴리(Project Lily)”라고 부른다. 목적은 챗GPT가 지나치게 아부하거나 인간처럼 구는 경향을 줄이는 데 있다.

프로젝트 릴리, 어떻게 운영되나

프로젝트 릴리에 참여하는 검토자들은 챗GPT 응답을 1점에서 7점 사이로 채점한다. 이들이 남긴 평가는 다시 모델 학습 과정에 반영되는 구조다. 검토 인력은 Crossing Hurdles(크로싱 허들스)라는 채용 플랫폼을 통해 모집되고, AI 학습 전문 기업 Mercor(머코르)를 통해 급여를 받는다.

404미디어에 따르면 북미 지역의 한 검토자는 시간당 50달러 이상을 받는다고 밝혔다. 낮은 시급은 아니지만, 이 작업이 실제 사용자의 사적인 대화를 다룬다는 점에서 논란의 소지가 있다. 한 검토자는 404미디어에 “사용자들이 사람이 자신의 대화를 읽는다는 걸 알고 있다고 생각하지 않는다”고 말했다.

프라이버시 필터에도 구멍

오픈AI는 검토자에게 대화가 전달되기 전 프라이버시 필터라는 모델을 거쳐 개인식별정보를 걸러낸다고 밝혔다. 하지만 내부 문서는 이 필터가 모든 정보를 잡아내지 못한다는 점을 인정하고 있다. 404미디어가 검토한 실제 대화 가운데 일부에는 이용자가 챗GPT에 “이 내용을 비밀로 해달라”고 명시적으로 요청한 사례도 포함돼 있었다.

챗GPT 이용자는 9억 명을 넘어선 것으로 알려졌다. 많은 이용자가 챗GPT를 검색엔진과 상담사 사이의 무언가로 여기며 의료·법률·재정 상담이나 감정적 조언까지 구하고 있다는 지적도 나온다. 프라이버시 필터의 빈틈이 실제로는 방대한 규모의 민감 정보 노출로 이어질 수 있다는 우려가 제기되는 배경이다.

끄더라도 과거 대화는 그대로

오픈AI는 “모두를 위해 모델 개선하기(Improve the model for everyone)”라는 설정을 통해 대화가 학습에 쓰이는 것을 막을 수 있도록 하고 있다. 이 설정은 기본적으로 켜져 있으며, 끄더라도 이후 새로 나누는 대화에만 적용된다. 그동안 쌓아온 과거 대화 기록은 소급 적용되지 않아 그대로 검토 대상이 될 수 있다.

임시 채팅 모드를 사용하면 해당 대화가 학습에 쓰이지 않는다고 오픈AI는 설명한다. 하지만 이 옵션을 직접 찾아 켜지 않는 대다수 이용자는 기본값 그대로 자신의 대화가 검토 대상에 포함되는 구조다. 오픈AI는 인간 검토에 대한 내용을 FAQ 페이지에서만 짧게 언급하고 있고, 이 공지는 최소 2023년부터 큰 변화 없이 게재돼 있었다.

404미디어는 이런 공지 방식이 너무 눈에 잘 띄지 않고 모호해 이용자가 실제로 얼마나 많은 인간 검토가 이뤄지는지 알기 어렵다고 지적했다. “모두를 위해 모델 개선하기”라는 문구 역시 친근한 커뮤니티 참여처럼 들릴 뿐, 사람이 자신의 대화를 읽는 데 동의한다는 의미로는 읽히지 않는다는 점도 짚었다.

업계 전반의 관행과 규제 리스크

인간 검토 자체는 오픈AI만의 일이 아니다. 앤트로픽은 404미디어에 클로드 응답을 검토하고 향후 모델을 개선하기 위해 인간 리뷰어를 활용한다고 확인했다. 이는 개인정보 설정에서 “AI 모델 개선 돕기(Help improve our AI models)”를 켠 이용자에게 적용되며, 앤트로픽은 검토 전 이메일 등 계정 정보를 제거해 대화를 익명화한다고 밝혔다.

구글도 인간 리뷰어를 활용하며, 제미나이에는 저장된 채팅을 사람이 검토할 수 있다는 점을 명시하고 있다. 애플과 아마존, 구글은 과거 음성 어시스턴트 녹음을 인간이 직접 청취한 사실이 알려지며 이미 논란을 겪은 전례가 있다.

오픈AI를 둘러싼 데이터 관행은 이전에도 규제 당국의 관심을 받아왔다. 이탈리아는 2023년 개인정보 보호 우려를 이유로 챗GPT 사용을 일시 금지했고, 오픈AI가 유럽 개인정보보호규정(GDPR) 준수를 위한 조치를 취한 뒤 서비스가 재개됐다. 프로젝트 릴리의 구체적인 범위는 유출 문서만으로는 아직 전부 드러나지 않았다.