WiCi Infer, SSD로 노트북서 8000억 파라미터 AI 돌린다…속도는 초당 1토큰

작성일

WiCi, SSD에서 모델을 읽어 8000억 파라미터급 AI를 PC로 돌리는 무료 앱 공개
램 16~24GB부터 구동, 맥북 프로서 초당 2.7토큰이지만 속도는 느리다

노트북 옆 외장 SSD와 여러 개의 메모리 모듈을 살펴보는 모습 — 내용 이해를 돕는 AI 이미지
노트북 옆 외장 SSD와 여러 개의 메모리 모듈을 살펴보는 모습 — 내용 이해를 돕는 AI 이미지

무선 GPU ‘WiCi One’을 만든 WiCi가 대형 언어모델(LLM)을 개인 컴퓨터에서 돌리는 무료 데스크톱 앱 ‘WiCi Infer’를 내놨다. 모델 전체를 담을 만큼 메모리가 크지 않은 맥과 윈도우 PC에서도 8000억 개(800B)급 파라미터 모델을 실행할 수 있다는 게 핵심이다. 비결은 모델을 램이 아닌 SSD에 두고 필요한 부분만 불러오는 방식이다.

WiCi는 이 앱이 자사가 최근 공개한 오픈소스 추론 엔진 ‘InferSSD’ 위에서 작동한다고 설명했다. 최전선급 AI를 데이터센터 없이 이미 가진 하드웨어로 돌리겠다는 구상이다. 다만 속도는 클라우드 서비스에 한참 못 미친다.

모델은 SSD에, 필요한 전문가만 메모리로

기존 로컬 AI는 모델 대부분 또는 전부를 메모리에 올려야 했다. WiCi Infer는 답변을 생성하는 매 단계마다 필요한 부분만 SSD에서 읽어 램이나 GPU 메모리로 옮긴다. 모델 파일 전체를 먼저 올려두지 않는다는 얘기다.

이 방식이 통하는 이유는 대상 모델이 전문가 혼합(MoE·입력 토큰마다 일부 가중치만 골라 쓰는 구조) 설계이기 때문이다. WiCi에 따르면 메타의 ‘뮤즈 스파크 오픈(Muse Spark Open)’은 전체 파라미터가 8160억 개지만 한 번에 활성화되는 것은 약 420억 개다. InferSSD는 라마닷씨피피(llama.cpp)를 기반으로 만들어졌고, 이렇게 선택적으로 쓰이는 전문가 가중치를 디스크에 보관한다.

메모리 부담이 사라지는 것은 아니다. 공유 레이어와 어텐션(입력 간 연관성을 계산하는 연산), 작업 캐시는 여전히 램이나 GPU 메모리에 들어가야 한다. WiCi도 자사 기술 설명 글에서 메모리 요구량이 ‘줄어드는 것’이지 ‘없어지는 것’은 아니라고 밝혔다.

케이블로 노트북에 연결한 외장 저장장치를 사용하는 모습 — AI로 생성한 자료 이미지
케이블로 노트북에 연결한 외장 저장장치를 사용하는 모습 — AI로 생성한 자료 이미지

필요한 사양: 램 16~24GB부터, SSD는 약 520GB

800B급 모델의 파일 크기는 약 520GB다. 고사양 노트북이 갖춘 메모리의 열 배를 넘는다. WiCi는 일반적인 방식으로 이런 모델을 돌리려면 보통 256GB 넘는 메모리가 필요하다고 설명했다. WiCi Infer는 이 부담을 저장장치로 넘긴다.

WiCi가 공개한 요구 사양은 다음과 같다. 딥시크 V4.1 플래시(DeepSeek V4.1 Flash, 7630억 개 파라미터)는 최소 16GB, 권장 48GB 메모리가 필요하다. 뮤즈 스파크 오픈(8160억 개)은 최소 24GB, 권장 48GB다. 두 모델 모두 약 520GB의 여유 SSD 공간이 있어야 한다.

지원 플랫폼은 애플 실리콘 기반 맥OS와 윈도우 x64다. 리눅스 사용자는 앱 대신 InferSSD 명령줄 엔진을 쓰면 된다. 앱은 모델 내려받기와 실행, 관리를 위한 그래픽 인터페이스를 갖춰 명령줄 작업 없이 시작할 수 있다.

벤치마크: 3배 빨라졌지만 여전히 느리다

WiCi가 공개한 수치를 보면 메모리 48GB의 애플 M5 맥스 맥북 프로에서 딥시크 V4.1 플래시는 초당 약 2.7토큰(AI가 처리하는 글자 단위)을 생성했다. 같은 기기에서 표준 llama.cpp는 약 0.9토큰이었다. 속도가 대략 3배라는 계산이다. 뮤즈 스파크 오픈은 같은 노트북에서 초당 약 1토큰이 나왔고, llama.cpp는 0.15토큰이었다.

절대 속도는 작은 모델이나 클라우드 AI와 비교하면 느리다. 소스 중 한 곳은 초당 2.7토큰이면 300단어 분량 답변에 약 2분 30초가 걸린다고 짚었다. 다른 곳은 이 속도라면 빠른 대화형 비서보다 실험이나 가끔 쓰는 작업에 더 어울린다고 평가했다.

주의할 점은 이 수치가 모두 WiCi가 직접 발표한 결과이고 독립적인 검증을 거치지 않았다는 것이다. 성능은 컴퓨터 사양과 모델, 설정에 따라 달라질 수 있다.

로컬 처리의 이점과 감수할 비용

WiCi는 앱이 로드한 모델을 OpenAI 호환 로컬 API로 제공한다고 밝혔다. 기존 코딩·글쓰기·문서 도구를 같은 컴퓨터에서 돌아가는 모델에 연결할 수 있다는 의미다. 프롬프트는 클라우드가 아닌 사용자 기기에서 처리되며 계정이나 로그인도 필요 없다고 회사는 설명했다.

민감한 문서나 소스코드, 내부 업무 데이터를 다루는 팀에는 실용적인 이유가 될 수 있다. 어떤 모델을 쓸지, 데이터를 어디서 처리할지를 사용자가 정하게 된다. 다만 로컬에서 실행한다고 해서 모델의 정확성이나 연결된 다른 소프트웨어의 개인정보 설정까지 보장되는 것은 아니다. 저장 공간과 성능 관리도 이용자 몫이다.

결국 맞바꾸는 조건은 분명하다. 약 520GB의 여유 SSD 공간이 있어야 하고 생성 속도는 클라우드보다 느리다. 그 대가로 800B급 모델을 사적으로, 소프트웨어 비용 없이 개인 컴퓨터에서 돌릴 수 있다. 엔진인 InferSSD는 오픈소스여서 개발자가 코드를 직접 들여다보고 확장할 수 있다. WiCi는 제품 페이지에서 다른 로컬 AI 소프트웨어와의 비교 자료도 제공한다.