오픈AI, 나비에-스토크스 100만달러 난제 풀었지만 “레벤트 버스 밑에 던지라” 논란

오픈AI가 수학계 최고 난제로 꼽히는 밀레니엄 문제 중 하나인 나비에-스토크스(Navier-Stokes) 문제를 미공개 내부 모델로 풀어냈다고 발표했다. 클레이수학연구소가 2000년 5월 24일(현지시각, 이하 현지시각) 100만 달러 상금을 걸었던 문제로, 7개 밀레니엄 문제 중 그 사이 25년 동안 실제로 풀린 문제는 위상수학 난제인 푸앵카레 추측 하나뿐이었다. 그런데 이 성과 발표 직후 미국 뉴욕대(NYU) 교수 트리스탄 벅마스터가 오픈AI의 연구 진행 과정과 경쟁사 앤트로픽 소속 연구자를 배제한 거래 제안을 공개적으로 문제 삼으면서 논란이 커지고 있다. 더 버지는 벅마스터와 안드레아스 톰 등 수학자 10여 명을 인터뷰해 갈등의 전말을 보도했다.

오픈AI “1만 개 에이전트, 88시간 만에 풀었다”

오픈AI는 9월 1일 밀레니엄 문제 두 개가 풀렸다는 소문을 듣고, 자사의 미공개 내부 모델이 이를 풀 수 있는지 시험해보기로 했다고 설명했다. 이 작업에는 약 1만 개의 에이전트와 수천만 달러 규모의 컴퓨팅 자원이 투입됐고, 첫 에이전트가 가동된 지 88시간 만인 9월 5일 나비에-스토크스 문제 해법을 도출했다고 밝혔다.

이후 정리·검증 작업인 린(Lean) 형식화 절차에 17시간이 추가로 소요됐고, 이 단계에는 차세대 모델 GPT-6 아스트라가 쓰였다. 오픈AI에 따르면 시도한 모든 문제를 통틀어 에이전트들은 490만 건의 메시지를 주고받으며 약 3,000억 개의 출력 토큰을 사용했고, 나비에-스토크스 문제 해결에만 270만 건의 메시지와 약 1,300억 개의 토큰이 들었다.

개발자 사이먼 윌리슨은 이 정도 출력 토큰량을 GPT-6 아스트라의 공개 API 가격으로 환산하면 1,500만 달러(약 201억 원, 1달러 1,342원 기준) 규모라고 추산했다. 그는 이 수치가 오픈AI가 직접 공개한 것이 아니라 자신의 계산이라는 점을 밝혔다.

벅마스터·알포게 “거의 1년 연구”…오픈AI 개입에 반발

공교롭게도 벅마스터와 앤트로픽 소속 연구자 레벤트 알포게는 같은 문제를 놓고 거의 1년간 매달려온 상태였다. 두 사람은 클로드와 오픈AI의 코덱스(주로 GPT-5.6 또는 솔 모델)를 함께 활용해 연구를 진행했고, 8월 15일 돌파구를 찾았다. 이후 수학계에 “주요 미해결 문제가 풀렸다”는 소문이 돌자 두 사람은 오픈AI에 연락했고, 오픈AI가 유사한 접근으로 관련 문제를 풀고 있는 팀을 이미 운영 중이라는 사실을 알게 됐다.

벅마스터는 당시 상황을 이렇게 전했다. “오픈AI 쪽에 첫 프롬프트를 언제 보냈는지 물었지만 한동안 직접적인 답을 듣지 못했다. 결국 우리 작업 정보가 오픈AI에 전달된 이후 며칠 사이에 보냈다는 데 합의가 이뤄졌다. 모델이 우리가 모든 초안을 올려둔 코덱스 세션을 학습했거나 접근한 적이 있는지도 물었는데, 사용자 데이터를 조회하지 않았다는 답만 들었다. 학습 여부를 다시 물었지만 답을 받지 못했다.”

오픈AI는 벅마스터가 작업을 이어가도록 자원을 지원하거나 그가 먼저 발표하도록 기다려주겠다고 제안했지만, 알포게는 앤트로픽과의 경쟁 관계를 이유로 공동 저자 명단에서 배제하겠다는 조건을 달았다.

“레벤트를 버스 밑에 던지라는 거였다”

벅마스터는 오픈AI 연구자 세바스티앙 부벡과의 협상이 갈수록 험악해졌다고 주장했다. 그의 표현을 빌리면 부벡은 벅마스터에게 거의 무제한의 컴퓨팅 자원을 지원해 스스로 증명을 완성하게 해주거나, 오픈AI가 발표할 논문의 단독 저자가 되는 기회를 제안했다. 벅마스터는 이를 “회유”로 받아들여 거절했다며 “내가 해야 할 일은 그저 레벤트를 버스 밑에 던지는 것뿐이었다”고 더 버지와의 전화 인터뷰에서 말했다.

부벡은 소셜미디어와 뉴욕타임스 인터뷰에서 벅마스터의 표현에 반박했다. 다만 그는 벅마스터가 스스로 증명을 완성하도록 돕거나 오픈AI 논문의 저술을 맡도록 자원을 제안한 사실 자체는 인정했다. 오픈AI가 다른 수학자들과도 비슷한 방식의 합의를 맺은 적이 있다고 밝히면서도 구체적으로 누구인지는 밝히지 않았다. 뉴욕타임스에 따르면 부벡은 “우리 입장에서 앤트로픽 직원과 함께하는 오픈AI 내부 프로젝트를 어떻게 진행할 수 있겠느냐”고 말했다. 알포게는 이 협업이 앤트로픽 업무와는 무관한 “개인적 협업”이었다고 설명한 바 있다.

오픈AI 대변인 로런스 포코네는 더 버지에 “벅마스터 박사가 최근 2개월간 코덱스에 입력한 프롬프트가 학습을 포함해 어떤 방식으로도 시스템에 영향을 줬을 가능성은 단언컨대 없다”고 밝혔다. 반면 오픈AI가 직접 공개한 설명문에는 “그들의 작업물을 공개 이전에 어떤 방식으로도 확인하지 않았고, 특정 사용자 데이터에 접근하지도 않았다”면서도 “가능성은 낮지만 그들이 제품을 사용하며 생긴 비식별 데이터가 모델 개선에 도움이 됐을 가능성을 배제할 수는 없다”는 내용이 담겼다. 오픈AI는 두 팀의 증명이 상당히 다르고, 오일러 방정식 관련 세부 결과(강제 대 비강제 조건)도 서로 다르다고 덧붙였다. 벅마스터는 “이제까지 오픈AI가 보여준 행동을 고려하면 이런 해명은 상당한 의심을 갖고 받아들여야 한다”고 말했다.

밀레니엄 문제, 왜 이렇게까지 다투나

클레이수학연구소가 2000년 제시한 7개 밀레니엄 문제는 문제마다 100만 달러 상금이 걸려 있고 수학계에서 가장 까다로운 난제로 꼽힌다. 자사 모델의 수학 능력을 입증하려는 AI 기업에게는 그만큼 뿌리치기 힘든 목표라는 게 더 버지의 분석이다.

더 버지가 인터뷰한 수학자 10여 명 중 상당수는 오픈AI의 이런 행보에 불편한 기색을 감추지 않았다. 이들은 오픈AI를 열정적인 신참이라기보다는 압도적 자원을 가진 침입자로 여기며, 오랜 세월 문제에 매달려온 이들에 대한 배려 없이 기존 규범을 무시하고 있다고 지적했다. 오픈AI가 수학 발전이 아니라 승리 자체를 목표로 삼고 있다는 우려가 이런 불안의 핵심이다.

개발자 사이먼 윌리슨은 이 사건을 컴퓨터 보안 업계 상황과 비교했다. 그는 “버그가 있다는 소문만으로도 요즘은 보안 취약점을 찾아낼 수 있다”는 지적을 인용하며, 수학에서도 아직 발표되지 않은 해법이 존재한다는 사실만 알려져도 누군가 먼저 도달하기 위해 수백만 달러 규모의 AI 연산을 쏟아부을 수 있다고 짚었다. 그는 자신이 챗GPT로 밀레니엄 문제를 부분적으로 풀어보려 한 작업이 이후 모델 학습에 영향을 줘 다른 누군가가 먼저 답을 얻게 할 가능성이 있는지를 새로운 의문으로 제기했다.