구글 제미나이, 맥북 직접 조작한다…백그라운드 창에서 클릭·입력 대행해 화면은 그대로

작성일

구글 제미나이 맥 앱, 백그라운드에서 앱 클릭·입력 대행하는 컴퓨터 유즈 추가
미국 영어 AI 플러스·프로·울트라 구독자 대상, 애플 실리콘 맥 필요

책상 위에서 화면을 켠 노트북과 주변 사무용품이 놓인 모습 — AI 자료 이미지
책상 위에서 화면을 켠 노트북과 주변 사무용품이 놓인 모습 — AI 자료 이미지

구글이 목요일(현지시각) 제미나이 맥용 데스크톱 앱에 ‘컴퓨터 유즈(computer use)’ 기능을 추가한다고 밝혔다. AI가 화면을 보고 직접 클릭하고 입력하면서 로컬 앱과 웹사이트를 오가며 여러 단계로 이뤄진 작업을 대신 처리하는 기능이다.

작업은 별도의 백그라운드 창에서 진행된다. 사용자는 채팅창 안의 실시간 미리보기로 진행 상황만 확인하면 되고, 화면과 커서는 그대로 쓸 수 있다. 미국 영어 이용자 가운데 구글 AI 플러스·프로·울트라 구독자부터 순차 제공된다.

화면 점유 없이 백그라운드에서 클릭·입력 대행

엔가젯(Engadget)에 따르면 제미나이는 스크린샷으로 화면에 보이는 내용을 파악한 뒤 클릭·입력·스크롤을 하며 프로그램과 웹사이트를 탐색한다. 사용자가 자연어로 할 일을 설명하면 여러 프로그램과 기기에 걸쳐 여러 단계가 필요한 작업을 자동화해 준다. 이 기능은 PC 이용자에게는 이미 한동안 제공돼 왔고 이번에 맥 앱에도 들어왔다.

나인투파이브구글(9to5Google)은 기존 맥 앱의 ‘태스크’ 기능과 차이를 짚었다. 이전 이름이 ‘제미나이 스파크’였던 태스크는 연결된 앱(@Gmail, @Google Calendar 등)과 함께 로컬 파일에 접근하는 수준이었다. 컴퓨터 유즈는 여기서 한 걸음 더 나아가 메뉴 탐색이나 양식 입력처럼 로컬 데스크톱 앱과 웹에서 사람이 하던 조작을 직접 수행한다.

사용법은 프롬프트에 ‘@Computer use’를 붙이는 방식이다. 나인투파이브구글에 따르면 설정의 ‘Customize > Connectors’ 메뉴에는 새 ‘Desktop’ 앱으로 블렌더(Blender)와 Autodesk Fusion이 추가됐다. 기존에 있던 Git, Obsidian 연동과 나란히 놓인다.

노트북 앞에서 수납 상자 속 니트 스웨터를 정리하는 모습 — 이해를 돕는 AI 자료 이미지
노트북 앞에서 수납 상자 속 니트 스웨터를 정리하는 모습 — 이해를 돕는 AI 자료 이미지

구글이 제시한 활용 사례: 사진 보정부터 중고 판매 등록까지

구글이 예로 든 작업은 반복적이고 번거로운 업무에 몰려 있다. 정리된 사례는 네 가지다. 디자인 소프트웨어에서 사진을 한꺼번에 색 보정하거나 복잡한 3D 장면을 구성하는 창작 작업이 첫째다. 로컬 PDF에서 무게·치수·주소를 뽑아 여러 칸짜리 배송 견적서를 채우는 일도 들어 있다.

나머지 둘은 업무 자동화에 가깝다. 여러 지역의 라이브 대시보드에서 지표와 스크린샷을 모아 구글 슬라이드로 발표 자료를 만드는 작업이 하나다. 로컬 폴더의 의류 사진을 분석하고 시세를 조사해 상품 정보를 기록한 뒤 중고 거래 플랫폼에 등록 직전 단계까지 준비하는 일이 다른 하나다.

엔가젯은 같은 예시를 이베이(eBay) 일괄 등록 사례로 풀어 소개했다. 옷을 많이 파는 사람이 폴더에 저장한 사진을 맡기면 제미나이가 가격을 조사하고 상세 정보를 기록해 등록 화면을 준비한다는 설명이다. 연필 스케치를 3D 모델로 바꾸는 창작 작업도 활용 사례로 꼽힌다.

매셔블(Mashable)이 소개한 구글 블로그 예시는 아이가 그린 나비 스케치를 블렌더로 입체 도형 형태로 구현하는 작업이다. 요청이 접수되면 제미나이가 백그라운드 창에서 작업하고, 사용자는 앱 안의 미리보기로 과정을 지켜볼 수 있다. 테크크런치는 양식 작성, 여러 파일에 같은 작업 반복, 기준별 폴더 정리 같은 용도도 구글이 제안했다고 전했다.

승인·중지 장치와 애플의 권한 정책 변화

AI가 로컬 파일과 앱에 접근하는 만큼 안전장치도 함께 공개됐다. 사용자는 한 번의 클릭으로 제미나이를 언제든 멈출 수 있고 어떤 앱을 쓸지도 직접 고른다. 로그인과 결제 단계에서는 제미나이가 작업을 멈추며 민감한 행동에는 확인이 필요하다. 제미나이는 허용된 앱만 쓰고 핵심 작업 전에는 승인을 요청한다.

매셔블은 AI 에이전트에 로컬 파일과 앱 전체 접근을 맡기는 일에는 본질적인 위험이 따른다고 짚었다. 구글이 앱 선택권과 실시간 관찰 기능을 준 것도 문제가 생길 때를 대비한 장치라는 설명이다. 작업을 일시 정지하거나 결정이 내려지기 전에 승인할 수 있다는 점도 함께 언급했다.

애플 쪽 변화도 맞물려 있다. 맥루머스에 따르면 컴퓨터 유즈는 macOS 27.3 출시 전에 제공된다. 애플은 이 업데이트에서 앱에 무제한 데이터 접근을 허용할 때의 위험을 사용자에게 경고하고 AI 에이전트가 무엇을 보고 할 수 있는지 더 분명히 알릴 예정이다.

구체적으로 사용자는 특정 앱과 폴더로 접근을 제한하거나 접근을 요청할 때마다 허락을 받도록 설정할 수 있다. 한 앱이 다른 앱을 제어 중임을 알려 주는 투명성 표시도 들어간다. 지금 맥 권한을 요청하는 앱을 설치한 사용자는 macOS 27.3 출시 뒤 권한을 다시 부여할 필요가 없고 새 설명 화면도 보지 않는다.

이용 조건과 구글의 후발 주자 입지

현재 제공 범위는 좁다. 테크크런치에 따르면 이 기능은 우선 미국 영어 이용자에게 제공되며 맥용 제미나이 앱과 구글 AI 플러스·프로·울트라 구독이 필요하다. 구글은 다른 시장이나 플랫폼으로 언제 확대할지 밝히지 않았다.

맥루머스는 앱을 구글 웹사이트에서 내려받을 수 있고 애플 실리콘 맥이 필요하다고 전했다. 요금제는 월 4.99달러(약 6,650원, 1달러 1,332원 기준)부터 시작한다. 매셔블은 맥북뿐 아니라 맥 미니와 아이맥에서도 쓸 수 있다고 소개했다.

경쟁 구도에서 구글은 후발 주자다. 메타와 오픈AI, 앤트로픽은 이미 데스크톱 앱에서 비슷한 에이전트 기능을 제공해 왔다. 구글은 같은 주 제미나이 ‘태스크’의 확대 제공을 발표했다. 태스크는 AI가 에이전트처럼 웹사이트 로그인, 온라인 구매, 예약을 돕는 기능이다.

구글은 지난 9월 공개한 AI 에이전트 ‘CC’도 개편해 초기 테스터를 받기 시작했다. 이 에이전트는 가족이 이메일·캘린더·채팅·할 일을 정리하도록 돕는 용도다.