코넬대, 갤럭시 워치6 스피커·마이크만으로 전신 움직임 추적…관절 오차 6.1cm

미국 코넬대 연구팀이 시중에서 파는 스마트워치의 스피커와 마이크만으로 온몸의 움직임을 추적하는 기술을 개발했다. ‘에코모션(EchoMotion)’으로 이름 붙인 이 시스템은 사람 귀에 들리지 않는 초음파를 쏘고 몸에서 되돌아온 반사음을 경량 인공지능(AI) 모델로 해석한다. 카메라를 쓰지 않아 개인정보 부담이 적고 전력 소모도 낮다는 것이 연구팀의 설명이다.

연구 결과는 10월 13일(현지시각) 중국 상하이에서 열린 ACM 유비쿼터스 컴퓨팅 및 웨어러블 컴퓨팅 국제 학술대회(UbiComp/ISWC)에서 발표됐다. 논문은 미국컴퓨터학회(ACM) 학술지에도 실렸다. 코넬대는 11월 11일 연구 내용을 보도자료로 소개했다.

손목 기기 하나로 전신을 읽는 소나 방식

에코모션은 코넬대 정보과학 분야 정보과학과 쳉 장(Cheng Zhang) 부교수가 이끄는 ‘SciFi 랩’(Smart Computer Interfaces for Future Interactions)이 만들었다. 스마트워치에 내장된 스피커가 초음파를 내보내면 사용자 주변에 들리지 않는 음파의 막이 형성된다. 팔다리가 움직일 때 이 음파가 반사돼 마이크로 돌아오고, AI 모델이 반사 패턴을 분석해 몸의 자세를 추정한다. 박쥐나 잠수함이 쓰는 소나(음파 탐지) 방식과 원리가 비슷하다.

기존 스마트워치는 가속도계와 자이로스코프(회전 감지 센서)로 움직임을 읽는다. 논문 1저자인 사이프 마무드(Saif Mahmud) 박사과정생은 이 센서들이 기기 자체의 움직임만 판단한다고 설명했다. 그래서 전신 추적에는 스마트폰·이어버드·VR 헤드셋 등을 더한 복잡한 구성이 필요했다. 카메라를 쓰는 시스템도 있지만 체육관 같은 곳에 카메라를 설치해야 한다는 부담이 따른다.

마무드는 “이는 신체 추적에서 매우 중요한 도약”이라고 말했다. 음향 신호는 착용자와 주변 사람의 프라이버시를 지키고 데이터량이 적어 처리 비용도 낮다는 것이 연구팀의 설명이다. 공동저자인 프랑수아 기욤브레티에르(François Guimbretière) 정보과학 교수는 챗GPT 같은 대형 언어 모델이 화제가 되고 있지만 에코모션은 웨어러블에서 돌아가는 아주 작은 모델이 인간-컴퓨터 상호작용의 센싱(감지) 분야에서 혁신을 이뤘음을 보여준다고 평가했다.

3D 프린터 시제품에서 갤럭시 워치6까지

연구팀은 먼저 양쪽에 마이크와 스피커 한 쌍씩을 단 3D 프린팅 시계 모형을 만들었다. 자원봉사자 10명이 이 장치를 주로 쓰지 않는 손에 차고 18가지 운동을 했다. 이 데이터로 딥러닝(심층 학습) 모델을 훈련했다. 정확도는 머리부터 발목까지 관절 12곳의 예측 위치를 카메라로 포착한 실제 자세와 비교해 측정했다.

다만 시중 스마트워치에는 마이크와 스피커가 한 쌍뿐이다. 연구팀은 개조하지 않은 삼성 갤럭시 워치6로 새 참가자 15명을 대상으로 다시 시험했다. 시스템을 처음 쓰는 사람의 관절 위치 평균 오차는 4인치 미만이었다. 12분짜리 보정을 한 번 거치면 오차는 3분의 1 넘게 줄어 약 2.4인치가 됐다.

같은 AI 모델은 재학습 없이 갤럭시 워치7과 구글 픽셀 워치3에서도 작동했다. 디지털트렌드는 이들 기기에서 정확도가 소폭 떨어지는 데 그쳤다고 전했다. 같은 매체에 따르면 시스템은 소프트웨어만으로 구동되고 전체 크기가 30MB 미만이며, 연구팀은 웨어OS 스마트워치에 쉽게 배포할 수 있다고 설명했다. 고가의 초광대역이나 밀리미터파 칩, 카메라 같은 별도 하드웨어도 필요 없다고 이 매체는 덧붙였다.

센싱 전력 12밀리와트, 웨어러블 카메라의 40분의 1

전력 효율은 연구팀이 내세우는 또 다른 강점이다. 시제품 기준 센싱에 드는 전력은 약 12밀리와트로 웨어러블 카메라보다 약 40배 적었다. 갤럭시 워치6에서 30분간 측정했을 때 배터리 소모는 5~6%였다.

디지털트렌드에 따르면 연구팀은 갤럭시 워치6에서 돌아가는 운동 인식 데모도 만들었다. 이 데모는 덤벨 래터럴 레이즈, 레그 프레스, 체스트 프레스, 스쿼트 등 헬스장 운동 20종을 95.4% 정확도로 구분했다. 소음이 약 76dB(데시벨)에 이르는 실제 헬스장에서도 작동했다고 한다. 연구팀은 손목 움직임만이 아니라 전신 관절의 위치와 각도를 반영하기 때문에 필라테스·태극권·요가처럼 세밀한 피드백이 필요한 운동으로 확장할 수 있다고 본다. 이 부분은 디지털트렌드가 연구진의 견해로 소개한 내용이다.

마무드는 “에코모션이 상용 기기에서 작동하도록 상당한 노력을 기울였고, 그래서 도입이 매우 쉬울 수 있다”고 말했다. 코넬대는 에코모션이 웨어러블이나 VR 시스템에 통합되면 운동, 일상 활동 추적과 재활 경과 확인에 쓸 수 있다고 밝혔다.

붐비는 공간은 숙제…피트니스 코치·스마트 글래스로 확장

실험실 밖 성능도 점검했다. 새 참가자 10명이 작은 방, 좁은 복도, 시끄러운 도로변에서 18가지 운동을 수행했다. 가구와 주변 소음은 성능에 영향을 주지 않았다. 다만 복도에서는 다른 사람에게서 반사되는 에코 때문에 성능이 소폭 떨어졌다.

마무드는 수십 명이 아닌 수천 명의 데이터를 확보하면 지하철처럼 붐비는 환경에서도 움직임을 더 잘 해석하게 될 것으로 기대한다. 이는 연구진의 기대이며 이번 시험에서 입증된 결과는 아니다. 핑거레이크스1도 이 점을 구분해 전했다.

연구팀은 현재 피트니스 추적용으로 기술을 개발 중이다. 개인 피트니스 에이전트가 반복 횟수를 세고 불가리안 스플릿 스쿼트 같은 동작에서 자세를 교정해주는 것이 목표다. 스마트 글래스의 1인칭 시야 영상과 에코모션을 결합해 사용자가 다루는 물체를 효율적으로 추적하는 방안도 탐색하고 있다.

마무드는 “가까운 미래에 스마트워치나 스마트 글래스 같은 웨어러블을 통해 개인 에이전트가 하루 동안 무엇을 했고 무엇을 먹었는지 설명하는 글을 써줄 것”이라며 “이 프로젝트는 그 비전에서 신체 추적 부분을 가능하게 한다”고 말했다. 핑거레이크스1은 이번 보도가 소비자용 출시 발표가 아니라 연구 개발 단계의 성과를 다룬 것이라고 전했다. 공동저자로는 카이스트의 김지완, 티안홍 캐서린 유, 케니 량, 비니트 파리크가 참여했으며 연구는 미국국립과학재단의 지원을 받았다.