코그니션 SWE-2, 페이블5.1과 1점 차이인데 비용은 64% 더 저렴하다

코그니션(Cognition)이 새 코딩 AI 모델 ‘SWE-2’를 9월 10일(현지시각) 공개했다. 데빈 데스크톱과 CLI에서 곧바로 사용할 수 있으며 데빈 웹과 퓨전에도 순차 배포된다. 자체 벤치마크인 프론티어코드 1.1 메인에서 50.0%를 기록해 현재 선두인 앤트로픽 페이블 5.1의 50.9%와 1점 이내 격차를 좁혔다. 같은 성능대에 있으면서도 비용은 64% 낮췄다는 게 회사 설명이다.

SWE-2는 문샷AI(Moonshot AI)의 키미(Kimi) K3를 후속 학습한 모델이다. 키미 K3는 2.8조 개 파라미터를 가진 MoE(전문가 혼합) 구조로, 이미 에이전트형 코딩 작업에 대한 강화학습(RL)을 거친 상태였다. 코그니션은 여기에 추가 RL을 적용해 여러 벤치마크에서 5~6점을 더 끌어올렸고, 키미 K3의 비용 대비 성능 곡선 전체를 앞으로 밀어냈다고 밝혔다.

비용을 페널티로 건 RL, 단일 실행으로 모든 난이도 학습

SWE-2의 핵심은 medium·high·max 세 가지 추론 강도(effort level)를 하나의 RL 실행으로 동시에 훈련한 방식이다. 코그니션은 각 강도별로 선형 비용 페널티를 적용한 보상함수 “R = S − λe·C”를 썼다. S는 작업 성공 여부, C는 실제 비용(달러·시간), λe는 강도별 페널티 계수다.

테크타임스에 따르면 코그니션은 이 선형 페널티가 평균 비용과 평균 해결률에만 의존하도록 보장하는 유일한 함수 형태라는 점을 발표문 부록 B에서 증명했다고 밝혔다. 비선형 페널티를 쓰면 개별 롤아웃 비용의 분포 자체에 보상이 민감해져, 모델이 실제 성능 개선 없이 분포를 조작해 보상만 챙길 위험이 있다는 설명이다.

각 강도별 페널티 계수 λe는 키미 K3 파레토 프론티어의 지점 기울기에 맞춰 설정됐다. 문샷AI를 비롯한 대다수 연구소는 강도별로 별도 전문가 모델을 훈련한 뒤 여러 교사 모델을 동시에 참조하는 온폴리시 디스틸레이션(on-policy distillation)으로 하나로 합치는 방식을 쓴다. 코그니션은 이 과정을 단일 RL 실행으로 대체했다.

첫 코드 편집까지 48단계에서 18단계로

효율 개선은 실제 작업 방식의 변화로 이어졌다. 코그니션은 전작 SWE-1.7이 코드를 건드리기 전에 코드베이스를 지나치게 꼼꼼히 탐색해, 실제 편집을 시작하는 데까지 평균 48단계가 걸렸다고 밝혔다. SWE-2 medium은 같은 지표에서 18단계면 충분했다. 테크타임스는 이를 62.5% 감소라고 짚었다.

프론티어코드 1.1 메인 기준 평균 스텝 수는 SWE-1.7 127단계에서 SWE-2 medium 53단계, high 80단계, max 98단계로 줄었다. 같은 벤치마크에서 SWE-2 medium은 SWE-1.7보다 높은 점수를 내면서도 턴 수는 58% 적고 평균 비용은 81% 낮았다.

코그니션은 이를 “집중 탐색”이라 부른다. 모델이 어떤 코드가 실제로 작업과 관련 있는지 더 잘 판단해, 관련 없는 파일 읽기를 줄인다는 것이다. 내부 테스트에서는 테스트 커버리지 개선, 막힌 경로를 돌아가는 자원 활용 능력도 관찰됐다. 한 사례에서는 필요한 MCP 연동이 막혀 있자 이미 접근 권한이 있던 슬랙 채널 기록에서 필요한 데이터를 재구성해냈다. 사용자 주장에 그대로 동의하지 않고 결과물을 직접 실행해 근거를 다시 검증하는 성향도 강해졌다.

그록·페이블·GPT 계열과의 성적 비교

프론티어코드 1.1 메인 점수는 SWE-2 50.0%, 키미 K3 44.2%, 그록 4.6 48.0%, 페이블 5.1 50.9%, GPT-5.6 솔 47.5%, GPT-6 아스트라 53.3%, SWE-1.7 42.0%로 나타났다. 딥SWE 1.1에서는 SWE-2가 73.0%로 키미 K3 68.5%, 그록 4.6 67.5%, 페이블 5.1 67.4%보다 앞섰고 GPT-5.6 솔 72.7%와는 근접했다. GPT-6 아스트라는 74.1%로 여전히 가장 높았다.

터미널벤치 2.1에서는 SWE-2가 92.8%로 비교 모델 중 가장 높았다. 다만 터미널벤치 4에서는 27.3%에 그쳐 GPT-6 아스트라, 페이블 5.1에 비해 뒤처졌다. 코그니션은 그록 4.6에 대해서는 점수와 비용 모두 앞섰고, GPT-5.6 솔·페이블 5·5.1과는 훨씬 낮은 가격에 비슷한 점수를, GPT-6 아스트라와는 4분의 1 비용으로 몇 점 차이 나는 성적을 냈다고 정리했다.

2.8조 파라미터 RL과 인프라 확장

SWE-2는 코그니션이 처음으로 조 단위 파라미터 규모에서 RL을 돌린 모델이다. 기반이 된 키미 K3는 SWE-1.7이 출발했던 모델보다 약 3배 큰 규모다. 이를 감당하기 위해 코그니션은 GPU 프리필 요청을 스케줄러에서 묶어 처리량을 10~20% 끌어올리는 프리필 딜레이어, DSpark를 통한 스펙큘레이티브 디코딩(작은 드래프트 모델이 토큰을 미리 제안하고 큰 정책 모델이 검증하는 방식) 등 네 가지 엔지니어링 개선을 적용했다.

NVFP4·FP8 커널과 양자화 인식 학습을 도입해 전체 메모리 사용량을 줄였고, 파라미터가 거의 3배 큰 모델을 쓰면서도 SWE-1.7보다 학습-추론 간 불일치를 더 낮췄다고 밝혔다. 학습 데이터 측면에서는 RL 환경 수를 3배로 늘리고 지시 준수 오버레이를 추가했으며, 이전 SWE-2 체크포인트들이 검증기를 반복적으로 강화하는 순환 구조도 구축했다.

코그니션이 증명한 선형 비용 페널티는 자사만의 비공개 기법이 아니라 발표문에 공개된 수학적 결과다. 여러 추론 강도를 가진 모델을 훈련하는 다른 연구소들도 동일한 방식을 적용할 수 있다는 의미다.