IT Insight

AR을 통한 인간과 로봇의 상호작용

2019.10.07 09:30

증강현실(Augmented Reality; AR)과 로봇(Robot)은 중요한 차세대 기술이지만, 서로 연관성을 찾긴 어렵습니다. AR은 인간의 그래픽 사용자 인터페이스를 확장할 컴퓨터 그래픽 분야이고, 로봇은 인간을 대신해 특정한 일을 자동으로 수행하는 기계 분야이기 때문이죠. 사람이 직접 사용하기 위한 기술과 사람을 대체하는 기술의 접점은 쉽게 찾을 수 없었습니다. 하지만 최근 AR은 인간과 로봇의 상호작용을 위한 기술로 연구되고 있습니다.


l 아이언 랩 AR 드론 제어 (출처: 아이언 랩)


로봇은 정교한 지능형 기술로 발전하고 있지만, 형태에 따라서는 인간과의 상호작용이 필요합니다. 의사결정은 인간의 몫이므로 아무리 정교한 로봇이라도 모든 걸 판단하게 할 수 없습니다. 그래서 버튼이나 레버 등 장치는 로봇을 제어하는 전통적인 방법이었으며, 오늘날에는 스마트폰이나 태블릿과 같은 2D 디스플레이를 활용합니다.


그러나 이러한 수단은 로봇과의 상호작용에 직관적이지 않습니다. 흘러내리는 바지를 입고 달리기를 하는 것과 같습니다. 예컨대, 2D 디스플레이로 로봇을 제어하려면, 인간은 디스플레이를 본 후 상호작용이 제대로 이뤄졌는지 확인하기 위해 시선을 로봇으로 향해야 합니다. 그러고는 다시 디스플레이를 보고, 고개를 들어서 로봇을 보길 반복해야 하죠. 또한, 입체적인 정보를 얻을 수 없다는 문제점도 있습니다.


 로봇, AR을 통해 현대 생활과 더 원활한 통합이 이뤄진다?


지난해, 시카고에서 열린 ACM/IEEE 국제 인간 로봇 상호작용 콘퍼런스(ACM/IEEE International Conference on Human Robot Interaction)에서 콜로라도 대학교 아이언 랩(Iron Lab)이 발표한 두 개의 논문은 AR을 통해 로봇이 현대 생활과 더 원활한 통합이 이뤄질 수 있음을 증명했습니다.


l 아이언 랩 AR 드론 시야 공유 (출처: 아이언 랩)


첫 번째는 연구 참가자가 AR로 표시한 비행경로를 보고 드론을 제어한 작업이 2D 디스플레이를 보고 제어한 작업보다 효율적이라는 연구였습니다. 


두 번째 연구는 드론에 탑재한 카메라가 연구 참가자의 AR 디스플레이와 연동해 스트리밍할 때 더 안전하고, 정확한 작업이 이뤄진다는 내용입니다. 모든 실험은 연구 참가자가 AR HMD(Head-mounted display)를 착용한 상태로 이뤄졌으며, AR의 도움이 없을 때와 비교해서 주어진 임무를 얼마나 빠르고, 정확하게 해내는지 평가하는 방법으로 진행되었습니다.


HMD와 드론을 연동하는 방법은 AR에 앞서 FPV 드론 레이싱(FPV Drone Racing)에 먼저 도입된 사례입니다. 2013년부터 시작된 FPV 드론 레이싱은 드론의 시야를 HMD로 스트리밍을 통해 경주 코스를 빠르게 완주하는 것이 목표인 스포츠 장르입니다. 레이싱 참가자가 드론에 탑승한 것과 같은 경험을 제공해 원격 제어임에도 드론이 정확한 주행을 하도록 돕는 것이 핵심이죠.


아이언 랩의 연구는 FPV 드론 레이싱 경험에 AR을 추가해 드론 비행이 빠르게 움직이는 것 외 다른 능력을 갖출 수 있다는 걸 발견한 것에 의미가 있습니다. 연구 결과에 따르면, 작업의 속도, 정확성, 드론의 추락 횟수에서 AR을 활용했을 때 더 효율적이라는 게 증명되었습니다.


그리고 드론의 시야만 스트리밍하는 FPV 드론 레이싱과 달리 작업자들이 서로 표정과 몸짓을 확인할 수 있는 AR HMD가 협업에 효과적이고, 다른 사람이 제어하는 드론의 움직임까지 이해함으로써 작업 효율을 위해 다음 행동까지 예측하는 능력도 확인했습니다. 아이언 팀의 두 논문은 콘퍼런스 디자인 부문 최고 논문과 2위 논문으로 선정되어 주목받았습니다.



이런 연구 성과들로 수년 동안 연계하지 못한 AR과 로봇은 동반 기술로 발전을 가속하고 있습니다. 요점은 '인간이 로봇과 상호작용하는 데 있어서 AR이 어떤 인터페이스 역할을 하느냐'에 있습니다.


인간과 로봇의 상호작용, AR이 어떤 역할을 할까?


발전이 가장 두드러진 것은 장애인 보조 로봇입니다. 지난 3월, 조지아 공과대학교(Georgia Tech)의 연구원들은 운동 장애가 있는 사람들이 마우스나 다른 소형 장치를 사용해서 인간 크기의 로봇을 제어하는 AR 시스템을 발표했습니다.


l FPV 드론 레이싱 (출처: https://bit.ly/2p3kqyf)


웹 기반의 AR 시스템은 HMD를 착용하는 건 아니지만, 마우스를 움직일 수 있는 정도만으로 로봇을 제어하도록 고안되었습니다. 연구에 사용된 로봇인 PR2는 바퀴와 20도로 움직이는 두 개의 팔, 머리를 가졌습니다.


운동 장애가 있는 15명의 참가자 중 80%가 로봇을 제어해 물병의 물을 마시거나 빗으로 머리를 다듬고, 면도까지 했습니다. 물병이나 면도기의 위치는 PR2에 탑재된 카메라와 AR로 구현된 로봇의 시야를 통해 정확히 파악할 수 있었죠.


뇌졸중으로 신체 일부가 마비된 헨리 에반스(Henry Evans)는 가려운 곳을 긁거나 직접 면도하지 못했습니다. 그는 윌로우 가라지(Willow Garage)라는 로봇 연구소가 개발한 PR2를 목격한 후 로봇이 자신을 도울 수 있다고 생각해 연구에 참여할 수 있는지 연락했고, 연구소가 허락하면서 에반스가 면도할 방법을 찾기 위한 인터페이스 연구가 시작되었습니다.


PR2를 함께 개발한 조지아 테크 의료 로봇 연구소는 에반스를 관찰하고자 자신의 연구팀과 함께 캘리포니아에 있는 에반스의 집까지 찾아가서 분석했고, 마침내 2011년 3월에 에반스가 로봇을 움직여서 직접 면도하는 웹 기반 인터페이스를 개발했습니다. 문제는 에반스만을 위한 인터페이스였기 때문에 범용 시스템으로 상용화할 수 없었다는 겁니다.


l PR2 (출처: Georgia Tech)


AR 시스템은 약 10년 전에 개발된 PR2의 제어 능력을 증폭시켰습니다. 에반스뿐만 아니라 각기 다른 장애를 지닌 참가자들이 똑같은 인터페이스로 로봇을 제어해서 원하는 움직임을 구사하도록 했습니다.


연구를 주도한 로봇공학자 필립 M. 그라이스(Phillip M. Grice) 교수는 '로봇의 능력은 신체가 건강한 사람과 비교하면 제한적이지만, 참가자들은 로봇의 도움 없이는 할 수 없었던 일을 효과적으로 수행했으며, 물체를 조작하는 능력을 측정했을 때 AR 시스템으로 개선된 것을 확인할 수 있었다.'라고 말했습니다. 긴 시간 해답을 찾지 못한 범용 로봇 인터페이스의 실마리를 AR에서 발견한 것입니다.


연구팀은 현대 생활에 맞게 PR2의 크기를 줄이고, 더 많은 행동을 수행하게끔 개선할 계획입니다. 인터페이스의 발전으로 로봇이 수행할 수 있는 역할을 늘릴 수 있어서, 장애인이 로봇을 활용하는 방법도 다양해질 거로 기대를 모으고 있습니다.


브라운 대학교의 로봇 공학 연구소는 마이크로소프트(MS)의 AR 헤드셋인 홀로렌즈(HoloLens)를 로봇과 결합했습니다. 홀로렌즈 착용자가 로봇을 바라보면, 자주색으로 표시되어 로봇의 다음 움직임을 인간이 쉽게 예상할 수 있습니다. AR로 구현한 가상의 목표를 옮기면, 로봇의 팔이 목표까지 자동으로 움직이고, 홀로렌즈 착용자는 움직이는 로봇의 모습을 AR로 확인하는 겁니다.


 로봇을 위한 AR의 역할


로봇은 기계입니다. 인간과는 다른 움직임을 보이기 때문에 조작하려면 인간이 로봇만의 움직임까지 정확히 인지할 수 있어야 합니다. 자동차처럼 숙련되지 않으면 로봇을 완벽히 제어할 수 없습니다.


l 브라운 대학교 AR 로봇 제어 시스템 (출처: 브라운 대학교)


AR의 역할은 로봇의 기계적인 움직임을 흡사 살아있는 생물처럼 묘사해 미세한 조정에 도움을 주는 것입니다. 기계에 AR로 만든 가상의 피부를 입히는 거죠. 이 방법으로 로봇 움직임에 대한 이질감을 줄이고, 로봇이 인간처럼 행동하는 조작에 가까워질 수 있습니다.


이는 영국 임페리얼 공대(Imperial College)가 최근 발표한 프로젝트로 쉽게 이해할 수 있습니다. '로보페이션트(RoboPatient)'로 불리는 이 프로젝트는 의대생들을 로봇으로 훈련시키기 위한 것입니다. 연구팀은 실리콘으로 만든 다양한 증상의 연조직 모형을 장착한 로봇 환자를 개발했습니다. 내장된 센서는 가해진 압력과 진단에 걸리는 시간을 기록해 훈련을 돕습니다.


AR은 로봇에 현실감을 부여합니다. AR로 만들어진 얼굴은 압력에 따라 느끼는 통증을 표정으로 나타냅니다. 사람 모습을 한 기계 얼굴이 표정을 짓는다면, 어색하게 느껴질 가능성이 큽니다. 그래서 AR로 로봇이 표정을 가진 것처럼 보이게 하는 방법을 제시한 것입니다.


이 방법은 표정만 아니라 증상의 변화나 피가 흐르는 걸 표현하는 등 기계만으로 어려운 부분에도 활용할 수 있습니다. 인간이 로봇을 인지하는 시각에 컴퓨터 그래픽을 포함하게 되는 겁니다.


l 로보페이션트 (출처: Morph Lab)


고로 AR은 로봇의 제어, 시야 공유, 인지 개선을 위한 기술입니다. 현재는 대부분 연구 목표가 분산되어 있습니다. AR로 로봇을 제어하는 방법만 찾거나 인간처럼 보이도록 그래픽을 씌우는 것처럼 말이죠. 다만, 각 목표가 성과를 내어 끝내 연결된다면, 로봇의 시야를 AR로 공유하고, 움직임에 대한 정보를 얻게 되며, AR 컨트롤러로 원격 제어함으로써 인간과 로봇을 일체화한 인터페이스의 구축도 기대할 수 있습니다.


위에서 언급한 사례 외에도 수술실의 로봇을 먼 거리의 의사가 AR로 조작하는 원격 수술, 불이 난 건물에 투입한 로봇의 시야나 움직임을 AR로 구현해 구조 대원이 안전하게 구조에 참여토록 하는 방안 등 여러 분야에서 AR과 로봇을 연결하고 있습니다.


AR과 로봇의 결합은 이제 막 연구가 시작된 단계입니다. 하지만 로봇에 AR을 더했을 때, 인간과 로봇의 상호작용이 수월해진다는 충분한 가능성을 제시했으며, 두 기술의 발전 양상에 따라서 자연스럽게 융합할 거로 전망합니다.


글 l 맥갤러리 l IT 칼럼리스트


* 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 LG CNS 블로그에 저작권이 있습니다.

* 해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.



Posted by IT로 만드는 새로운 미래를 열어갑니다 LG CNS

댓글을 달아 주세요

위로