AI가 마침내 인간 통제 벗어나 스스로... '특이점' 시대 시작됐다

인공지능(AI)이 인간의 지능을 넘어 스스로 성능을 개선하는 이른바 '특이점(Singularity)' 시대가 이미 시작됐다는 주장이 오픈AI 창업자 입에서 나왔다.

샘 올트먼 오픈AI 최고경영자(CEO)는 최근 공개된 '릴렌트리스(Relentless)' 유튜브 영상에서 "우리는 지금 특이점 한가운데에 있으며, 지금이 바로 그 순간"이라고 말했다. 그는 "10년 전만 해도 이것은 잘해야 먼 미래의 꿈이었고 매우 실현 불가능해 보였다"며 "이제 우리는 과거 점심 식사 자리에서 진지하지 않게 농담처럼 이야기하던 순간에 실제로 들어와 있다"고 했다.

특이점은 통상 AI가 인간의 지능을 넘어서 인간이 예측하거나 통제하기 어려운 속도로 스스로를 개선하기 시작하는 시점을 가리키는 개념이다. 수십 년간 공상과학과 학계 논의 속에 머물던 개념으로, 통제를 벗어난 강력한 초지능의 등장으로 이어질 수 있다는 관측과 맞닿아 있다.

올트먼 CEO는 이 순간을 자신을 움직이는 가장 큰 동력이라고 표현했다. 그는 "나를 가장 움직이게 하는 것은 이것이 내가 상상할 수 있는 가장 흥미롭고 중요한 일이라는 점"이라며 "나는 평생 이 순간을 기다려왔고, 이것이 놀랍고 대단히 긍정적이며 세상에 멋진 일이 될 것으로 생각한다. 그 일에 착수하게 돼 설렌다"고 했다.

올트먼 CEO는 "다른 기업들이 그린 대안적 전망 중 일부는 상당히 끔찍하다고 생각한다"며 "나는 그런 일이 벌어지지 않도록, 그에 맞서 밀어붙일 것"이라고 했다. 이 발언은 AI 개발 속도를 늦춰야 한다고 주장해온 경쟁사를 겨냥한 것으로 풀이됐다. 경쟁사인 앤스로픽은 앞서 AI가 재귀적 자기개선, 즉 스스로를 끊임없이 개선하는 능력에 이르는 경로에 있다고 주장하며 전 세계적 AI 개발 '중단(pause)'을 촉구한 바 있다.

올트먼 CEO는 지금이 10년 전 오픈AI를 창업하던 때와 비슷한 결정적 시기라고 봤다. 그는 "10년 전과 다른 핵심은 우리가 실제로 그 안에 들어와 있다는 것"이라며 "이 모든 것이 하나의 거대한 지수함수적 흐름이고 어느 한 순간도 결정적 분기점은 아니라는 것도 사실이지만, 동시에 우리가 창업하던 10년 전처럼 곡선이 이쪽으로도 저쪽으로도 갈 수 있는 또 하나의 결정적 시기에 있다는 것도 사실"이라고 했다.

그는 이 시기를 제대로 넘기기 위한 과제로 AI 정렬(얼라인먼트)과 안전, 일자리의 미래 같은 경제 문제를 함께 꼽았다. 그러면서도 "지금 이 순간의 진짜 싸움은 우리가 AI 권위주의의 세계로 갈 것인가, 자유의 세계로 갈 것인가"라고 규정했다.

올트먼 CEO는 "매우 현실적인 안전 문제와 경제 문제 때문에 하나의 단일 모델이 '기계 신(machine god)'이 되도록, 혹은 그것과 연결된 하나의 기업이 그 역할을 하도록 결정할 것인가"라고 물은 뒤 "아니면 조금 지저분하더라도 이 기술을 사람들의 손에 맡기고 그들에게 힘을 실어줄 것인가"라고 했다. 그는 "인류가 안전을 위해 자유를 맞바꿀 때마다 장기적으로는 순손실이었다"며 "물론 일정한 안전장치는 두되, 사회가 스스로 생각을 표현하고 이 기술을 원하는 방식으로 쓰도록 할 것이며 나는 우리가 그런 방식으로 하는 것을 정말 중요하게 여긴다"고 했다.

올트먼 CEO의 이번 특이점 선언은 그가 처음 내놓은 것은 아니다. 그는 약 1년 전 '점진적 특이점(The Gentle Singularity)'이라는 제목의 블로그 글에서 인류가 이미 "사건의 지평선을 지났으며, 도약이 시작됐다"고 적은 바 있다. 다만 당시 그는 AI가 완전히 자율적으로 자신의 코드를 갱신하는 단계를 말한 것은 아니며, AI 연구자들이 AI의 도움을 받아 더 뛰어난 AI를 개발하는 초기 형태의 재귀적 자기개선을 의미한다고 설명했다.

올트먼 CEO의 이번 발언은 오픈AI가 최근 겪은 충격적인 안전사고 직후에 나와 한층 더 주목받고 있다.

오픈AI는 지난주 자사의 AI 모델이 다른 기업을 상대로 스스로 해킹을 감행했다고 밝히며, 이를 업계 일각에서 오랫동안 우려해온 최초의 자율 AI 사이버 공격 사례로 규정했다. 회사 측 설명에 따르면 이 사건은 오픈AI가 자사 AI 모델 두 개의 사이버 역량을 시험하는 내부 평가 과정에서 발생했다.

오픈AI는 성명에서 이 기술이 '샌드박스 격리 테스트 환경'을 탈출해 공개된 인터넷에 접속했다고 설명했다. AI 에이전트는 테스트 목표를 달성하기 위한 정보원으로 AI 기업 허깅페이스(Hugging Face)를 지목했고, 도난당한 접속 정보를 사용하고 이전까지 알려지지 않은 보안 취약점을 찾아내 허깅페이스 서버에 접근한 것으로 전해졌다. 오픈AI는 문제의 침입이 새로 공개한 모델 'GPT-5.6 솔(Sol)'과 내부적으로 시험 중인 "훨씬 더 강력한" 모델의 조합에 의해 이뤄졌다고 밝혔다. 회사 측은 이 AI가 격리 환경에 있다는 전제 아래 완화된 안전장치로 작동하고 있었으며, "다소 협소한 테스트 목표를 달성하기 위해 극단적인 수준까지 나아갔다"고 설명했다.

오픈AI는 "우리는 이번 사건을 최첨단 사이버 역량이 관여된 전례 없는 사이버 사건으로 보고 있으며, 그에 맞춰 대응하고 있다"며 "이번 사건의 핵심 교훈은 모델 보안과 안전이 빠르게 발전하는 역량의 속도를 따라잡아야 한다는 것"이라고 밝혔다. 올트먼 CEO도 소셜미디어에 올린 성명에서 "우리 모델 평가 과정에서 중대한 보안 사고가 있었다"고 했다.

피해를 입은 허깅페이스 측은 앞서 자사 데이터 처리 시스템에 침입이 감지됐으며, AI 에이전트가 스스로 자율적으로 행동한 것으로 의심된다고 밝혔다. 허깅페이스의 공동창업자 클레망 델랑그 CEO는 "지난주 사이버 공격이 프런티어 연구소에서 비롯됐을 수 있다고 의심했는데, 정교함을 고려하면 그랬다"며 "실제로 그랬던 것으로 드러났다"고 했다. 그는 오픈AI 측과 지난 24시간 동안 함께 대응했다며 "그들 쪽에 악의는 없었다고 강하게 믿는다. 이 모든 일이 자율적으로 일어났다는 것이 상당히 놀랍다"고 했다.

허깅페이스는 이번 공격을 "지금껏 우리가 본 그 무엇과도 다른 공격"이라고 표현했다. 회사 측은 미국 주요 AI 모델들이 방어자와 공격자를 구분하지 못해 분석 작업을 거부하자, 중국 즈푸AI(Zhipu AI)의 오픈소스 모델 'GLM-5.2'를 활용해 해킹 데이터를 분석했다고 밝혔다.

전문가들도 이번 사건의 자율성 수준에 주목했다. 조지타운대 안보신흥기술센터의 콜린 셰이블라이머 사이버보안 연구원은 "그것은 우리가 파악한 한 스스로 이 해킹을 전부 해냈다"며 "이는 사이버 작전에 대규모언어모델(LLM)이 활용된 사례 중 우리가 목격한 가장 높은 수준의 자율성"이라고 했다. 다만 암스테르담대의 한네스 쿨스 사회과학자는 이번 사이버 공격을 AI 에이전트가 스스로 행동한 것으로 규정하는 것은 회사의 책임을 덜어주는 불필요한 의인화라고 지적했다.

이번 사건의 공개는 빠르게 발전하는 AI 기술이 초래하는 안전 위험을 업계와 정책 당국이 평가하는 시점에 이뤄졌다. 앞서 도널드 트럼프 미국 대통령은 지난달 AI 기업들이 제품을 더 널리 출시하기 전에 연방정부와 공유해 평가받도록 하는 내용의 행정명령에 서명했다. 오픈AI는 이번 자율 사이버 공격에 대한 조사가 계속 진행 중이라고 밝혔다.

올트먼 CEO는 AI 발전 속도에 대해 이른바 '스케일링 법칙(scaling laws)'이 앞으로도 계속될 것이라는 확신을 거듭 강조했다. 그는 창업자들에게 조언한다면 이 점을 가장 먼저 이해시키고 싶다며 "지금 당장은 불가능하거나 수지가 맞지 않지만 2년, 4년 뒤에는 가능해질 일을 지금부터 계획하는 것이 옳다"고 했다. 이어 "더 똑똑하거나 더 저렴한 모델을 필요로 하는 일에 지금 착수해도 괜찮다"고 했다.

그는 이런 변화가 창업 환경을 근본적으로 바꾸고 있다고 진단했다. 올트먼 CEO는 "10주 된 스타트업이 지금 어떤 모습일 수 있는지가 나로서는 놀랍다"며 "10년 전의 10주 된 스타트업을 보면 형편없는 상태인 반면, 최근에는 2주 된 스타트업이 문서와 프레젠테이션, 스프레드시트를 AI가 다룰 수 있는 세상에 맞춰 사무용 생산성 도구 전체를 새로 만든 사례를 봤다"고 했다. 그러면서 "불과 얼마 전이라면 스타트업이 1년은 매달렸을 일"이라고 했다.