증강현실을 조작할 '허공 제스처(in-air Gestures)'

터치 인터페이스 이후 디지털 요소를 조작할 방법은 어떤 것이 될까요? 많은 전문가가 허공 제스처(in-air Gestures)를 예상했고, 연구되었습니다. 스마트폰의 발전으로 마우스나 펜이 아닌 손가락으로 상호작용하는 게 익숙해지자 손을 활용한 인터페이스의 발전이 다음 순서로 여겨지면서 허공 제스처는 가장 주목받는 기술로 꼽혔습니다.

l 허공 제스처 (출처: Leap Motion)

하지만 많은 연구 성과와 결과물에도 허공 제스처가 터치 인터페이스를 대체하고 있진 못합니다. 터치 인터페이스로 조작할 디지털 요소가 스마트폰이나 태블릿의 화면에 갇혔기 때문인데요. 입력 오류를 줄이고, 자연스러운 상호작용을 위해서는 허공보다는 화면을 직접 터치하는 것이 직관적입니다. 허공 제스처를 다시 주목하기 시작한 건 증강현실(Augmented Reality; AR)의 발달로 디지털 요소가 화면 밖을 벗어나 현실에 반영되고 난 이후입니다.

 허공 제스처란?

허공 제스처는 허공의 손동작으로 컴퓨터와 상호작용하는 방법입니다. 손을 흔들거나 손가락 움직임으로 객체와 상호작용하는 것이죠. 스마트폰에도 도입된 사례는 있습니다. 허공의 손동작을 카메라가 인식해 스와이프나 탭 등 간단한 기능을 하는 것입니다.

문제는 스마트폰이 이미 화면을 두드리거나 문지르는 것으로 대부분 상호작용이 가능했다는 것에 있습니다. 터치 인터페이스와는 다른 상호작용을 허공 제스처가 해낼 수 있어야 했는데, 많은 허공 제스처 기술이 카메라를 활용한 시각적 인식 기술인 탓에 세밀한 조작까지 할 수는 없었죠.

2015년, 구글은 구글 I/O 2015에서 '프로젝트 솔리(Project Soli)'라는 명칭의 허공 제스처 프로젝트를 발표했습니다. 프로젝트 솔리는 레이더 기반의 허공 제스처 기술로 1밀리미터 이하의 미세한 움직임까지 감지하는데요. 손을 쥐거나 엄지와 검지를 문지르는 등 다양한 동작으로 상호작용할 수 있습니다.

구글이 선보인 데모에 보면, 허공에서 엄지와 검지를 문질러서 스크롤링과 스와이핑 등 상호작용으로 지도를 보거나 음량을 조절합니다. 버튼이나 아이콘을 화면에 표시하지 않아도 동작만 기억한다면 쉽게 상호작용할 수 있습니다.

l 프로젝트 솔리 (출처: Google ATAP)

소형 센서와 데이터 분석 기술을 활용하는 것만으로 구현할 수 있다는 것도 프로젝트 솔리의 장점입니다. 큰 비용 추가 없이 스마트폰이나 웨어러블 기기에 적용할 수 있습니다. 센서와 분석 기술이 하나의 플랫폼으로 이뤄져 있어서 특정 기기에서 익숙해진 동작을 다른 기기에 똑같이 이행하는 것도 가능합니다. 이를 위해 구글은 LG, 퀄컴 등과 협력해 상용화를 추진 중입니다.

그러나 상호작용할 디지털 요소가 화면 안에 있다는 점이 프로젝트 솔리가 곧장 터치 인터페이스를 대체하지 못할 이유입니다. 분명 화면이 작아서 터치하기 어려운 웨어러블 기기, 또는 화면이 없는 전자 기기에 프로젝트 솔리는 꽤 괜찮은 인터페이스로 채용될 수 있습니다. 단지 인간은 인터페이스 입력에 대한 출력이 뚜렷하게 표시되어야 상호작용을 인식합니다.

터치 인터페이스는 화면에 손가락을 접촉함으로써 원하는 지점을 명확하게 짚습니다. 반면, 허공 제스처는 화면 속에 상호작용할 대상이 많고, 각 객체가 다른 동작을 요구한다면 동작에 따라 상호작용이 이뤄진 정확한 지점을 표시해야 합니다. 마우스 포인트와 같은 점이나 객체를 감싼 테두리 같은 것들 말이죠.

그러므로 해당 표시를 인식하고, 동작을 입력해서 상호작용을 출력하는 것보다 터치 인터페이스가 더 직관적이기 때문에 간단한 상호작용을 요구하는 환경에서는 프로젝트 솔리를 도입하기 수월하지만, 복잡한 상호작용 환경에서는 어려운 것입니다.

허공 제스처를 좀 더 효율적으로 활용하기 위해서는 디지털 요소를 화면 밖으로 옮겨야 합니다. 음원 재생 플레이어를 예로 들어보겠습니다. 스마트폰의 음원 재생 플레이어는 직관성을 더하기 위해서 재생 목록, 버튼, 앨범 커버 등 요소가 한 화면에 최대한 나타나도록 구성합니다.

이를 AR로 구현한다면 각 기능을 별도 창으로 나눌 수 있고, 음량을 조절하기 위한 가상의 원형 다이얼을 배치할 수 있습니다. 사용자는 가상 다이얼을 허공 제스처로 돌림으로써 음량을 조절합니다. 스마트폰의 음원 재생 플레이어를 허공 제스처로 조작하려면 위에서 말한 것처럼 각 객체에 대한 표시가 이뤄져야 합니다.

그렇지 않으면 어떤 부분은 탭, 어떤 부분은 스와이핑 등 동작이 엇갈려서 입력 오류가 발생할 가능성이 크죠. 하지만 각 기능을 한 화면에 넣지 않고, 넓은 주변에 자유롭게 배치할 수 있는 AR 환경이라면 표시를 하지 않더라도 명확한 기능을 가진 객체를 마련함으로써 허공 제스처와 1:1 상호작용을 통해 입력 오류를 줄일 수 있습니다.

l 프로젝트 솔리 (출처: Google ATAP)

구글은 프로젝트 솔리를 통한 상호작용 방법의 하나로 '가상 도구(Virtual Tools)'를 소개했습니다. 예로 든 음원 재생 플레이어의 다이얼처럼 실제로 사용하는 익숙한 도구의 동작을 모방한 제스처를 통해 컴퓨터와 상호작용하는 것이죠.

스마트 잠금 장치를 가상의 열쇠로 열거나 가상의 버튼을 눌러서 조명을 켤 수 있습니다. 구글은 버튼, 다이얼, 슬라이더, 세 가지의 동작을 '가상 도구 제스처(Virtual Tool Gestures)'로 소개하고 있으며, 동작에 적합한 가상 도구를 AR로 구현할 수 있다면 허공 제스처를 AR 인터페이스로 알맞게 적용할 수 있을 것입니다.

 허공 제스처를 목표로 삼은 기업들

그렇다면 프로젝트 솔리 외에 AR을 목표로 하는 허공 제스처 사례는 어떤 것들이 있을까요?

2010년 설립된 '립 모션(Leap Motion)'의 출발은 AR에 있지 않았습니다. 손과 손가락의 움직임을 인식해 마우스를 대체할 수 있는 허공 제스처 센서를 개발하는 회사였죠. 가상 현실이 주목을 받기 시작하면서 립 모션은 자사의 손 인식 기술을 가상 현실용으로 새롭게 설계합니다. 이제 립 모션은 AR에 적용할 가장 강력한 허공 제스처 기술을 보유한 회사 중 하나입니다.

l 립 모션 (출처: Leap Motion)

프로젝트 솔리는 손이 아니라 레이더 센서로 주변의 사물, 사물의 형태, 재질 등 많은 요소를 감지할 수 있습니다. 반대로 말하면, 주변 환경을 감지할 수 있는 센서를 활용해서 손동작을 인식해 상호작용한다고 할 수 있습니다. 이와 다르게 립 모션은 온전히 인간의 손을 추적하는 것이 핵심입니다.

손의 움직임을 가상의 손으로 구현하고, 가상의 객체를 실제 손으로 상호작용했다고 인간이 느끼도록 하는 데에 집중했죠. 손의 움직임에 따라 가상의 객체는 자연스럽게 상호작용합니다. 손으로 쥐거나 던질 수 있고, 공과 같은 물체는 손바닥으로 트래핑 할 수도 있습니다. 모래나 물이라면 손가락 사이로 흘러내리기도 합니다. 실제 손을 사용하는 것을 모방했기 때문에 매우 직관적입니다.

지난해, 립 모션은 다가오는 AR 홍수에 대비해 '프로젝트 노스 스타(Project North Star)'라는 AR 플랫폼을 출시했습니다. 노스 스타는 VR 시스템을 기반으로 1600x1440 해상도 디스플레이 2개를 합친 헤드셋에 초당 100프레임, 100도 이상 시야를 확보해 180도 손 추적 기술이 착용자의 시야를 벗어나지 않고 현실 세계와 상호작용하는 시스템입니다.

노스 스타의 하드웨어 및 소프트웨어 기술은 오픈 소스로 제공되며, 누구나 접근하여 립 모션 손 추적 기술을 활용한 AR 인터페이스를 연구할 수 있습니다. 립 모션의 목표는 손을 활용할 수 있는 완전한 단일 AR을 제공하는 것으로 노스 스타를 통해 허공 제스처를 AR 헤드셋의 보편적인 인터페이스로 도입하는 것입니다.

AR 헤드셋의 출현까지 최소 2년 이상 시간이 걸릴 수 있는 립 모션의 계획보다 상용화를 더 앞당긴 허공 제스처 업체도 있습니다. 영국의 스타트업인 '리소(LITHO)'입니다.

리소는 손가락에 장착하는 컨트롤러를 개발했습니다. 프로젝트 솔리, 립 모션의 손 추적 기술처럼 손을 자유롭게 하는 아이디어는 아니지만, 스마트폰이나 웨어러블 기기, AR 헤드셋에 센서를 탑재하지 않아도 허공 제스처로 상호작용할 수 있다는 점이 특징입니다.

l 리소 컨트롤러 (출처: https://www.litho.cc/)

스마트폰 AR은 여전히 터치 인터페이스를 활용합니다. AR로 디지털 요소를 현실 세계와 결합하지만, 화면 경계를 벗어나지 못했기 때문입니다. 리소의 컨트롤러는 손가락에 장착하는 것만으로 화면을 터치하지 않고, 디지털 요소와 상호작용할 수 있게 돕습니다.

또한, 리소의 컨트롤러는 햅팁 피드백이 탑재되어 허공 제스처로 상호작용했을 때 손가락에 촉각을 표시합니다. 허공 제스처로 가상 다이얼을 돌리는 건 직관적이지만, 실제 다이얼을 쥐는 게 아니므로 시각적 표시만 있을 뿐 촉각은 빠져있습니다. 햅팁 피드백이 더 현실적인 허공 제스처 감각을 제공하는 것이죠.

프로젝트 솔리와 다른 점도 있습니다. 프로젝트 솔리의 가상 도구는 구현하는 방법에 따라서 다양한 사물을 모방할 수 있습니다. 하지만 리소는 조명을 켜기 위한 가상의 버튼을 만드는 대신에 컨트롤러가 버튼 역할을 대체합니다.

컨트롤러 밑면에는 터치 센서와 동작 센서가 탑재되어 있습니다. 컨트롤러를 조명에 향한 상태에서 밑면을 터치하면 조명이 켜집니다. 또는 가상의 다이얼 대신 터치 센서를 탭한 상태로 컨트롤러를 돌려서 온도 조절기의 온도를 조절할 수도 있습니다.

즉, 리소의 컨트롤러는 터치 인터페이스와 허공 제스처의 중간 지점을 겨냥합니다. 가상의 버튼으로 조명을 켜는 일이 멋진 것 같지만, 조명은 가상의 객체가 아닙니다. 실물 버튼이 사라진 세상이라도 조명을 켜기 위해서 AR 헤드셋을 착용하고, 버튼을 불러서 누르는 동작을 취하는 건 직관적이지 못합니다.

그래서 화면을 터치하거나 가상의 버튼을 생성하는 대신에 외부 사물과 상호작용하는 방법을 컨트롤러의 터치 인터페이스로 대체합니다. 그리고 스마트폰을 켰을 때, 또는 미래에 AR 헤드셋을 착용했을 때는 컨트롤러가 가상의 객체와도 상호작용하는 허공 제스처를 제공함으로써 화면의 안과 밖, 어느 쪽과도 상호작용하도록 설계된 것입니다.

AR을 실행하지 않은 상황과 실행한 상황에서 모두 허공 제스처를 활용할 수 있도록 하는 것이 목표인 거죠. 그래서 AR 헤드셋의 출현을 기다리지 않고도 허공 제스처를 AR 생태계에 적용할 수 있는 사례입니다.

l 리소 AR 상호작용 (출처: https://www.litho.cc)

리소의 창립자 냇 마틴(Nat Martin)은 '컴퓨팅은 데스크톱의 화면이 아닌 실제 세계를 중심으로 더 체계화하고 있다.'라면서 '조명, 온도 조절기, 잠금 장치와 같은 스마트 장치의 출현으로 물리적인 것들은 디지털 방식과 연결되고, 마찬가지로 AR의 출현으로 생긴 디지털 사물이 실제 세상에 물리적으로 고정되는데, 이것은 동전의 양면과 같다.'라고 설명했습니다.

AR이 실제 세계와의 결합을 가속할수록 실제 사물과 디지털 사물을 한 번에 제어할 인터페이스의 필요성이 증가하리라는 의미입니다. 

이 밖에도 수많은 허공 제스처 모델이 개발되고 있습니다. 물론 모델이 서로 다르기 때문에 현재 일률적인 형태로 발전한 터치 인터페이스처럼 플랫폼과 관계없이 통합된 허공 제스처를 제공하려면 조금 더 시간이 필요할 것입니다.

다만, 대부분 허공 제스처 연구가 디지털 요소를 직관적으로 다루는 걸 목표로 해서 실제 사물을 조작하는 것처럼 상호작용을 구현하므로 AR이 발전할수록 허공 제스처의 도입도 빨리 이뤄질 것으로 예상합니다.

글 l 맥갤러리 l IT 칼럼리스트

* 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 LG CNS 블로그에 저작권이 있습니다.

* 해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.