IT Life

쉽게 따라 하는 미디어 아트 Make Media Art[6편] Eye Writer – Eye Tracking Graffiti

2017.10.19 09:30

LG CNS 블로그 독자 여러분 안녕하세요, 미디어 아티스트 송준봉입니다. 

2017년, 직장인들의 마지막 희망이었던 추석 연휴는 잘 보내셨는지요? 주변에 여행 다녀온다고 하는 친구들도 많았는데, 요즘은 정말 여행 가기 딱 좋은 가을 날씨인 것 같습니다. 


저희 팀은 10월에 묘하게도 중요한 전시들이 겹치는 바람에 연휴는커녕 주말에도 꼼짝없이 일해야만 했습니다. 그래도 밤에 야외 테이블에서 간단하게 맥주 한잔하는 낭만이 있어 나름 행복했던 것 같습니다. 그럼 완연한 가을 날씨와 더불어, (뜬금없이!) 예술과 기술 part 2, ‘Make Media Art’ 의 6번째 주제를 시작해 보겠습니다.




 오늘 만들어 볼 작업은?

l Eye Writer, Free Art and Technology, the Graffiti Resarch Lab: Tempt1,

Evan Roth, Zach Lieberman,Theo Watson etc.,

Eye tracker + Graffiti Projection, 2010 (출처: http://eyewriter.org/)


오늘 만들어 볼 작업은 FAT(Members of Free Art and Technology)를 중심으로 한 2010년 작업 ‘Eye Writer’ 입니다. 이전에 ‘예술과 IT: 카메라를 활용한 작업들’ 블로그에서도 이 작업을 간단하게 소개해 드린 적이 있었는데요. 이 작업에는 조금은 감동적인 스토리가 숨어 있습니다.

80년대에 활발하게 활동했던 유명한 Graffiti Artist인 ‘TEMPTONE‘ 은 2003년 ‘루게릭병’으로 더 잘 알려진 ‘근위축성 측색 경화증(ALS)’ 이라는 질병을 얻게 되었고, 안타깝게도 머리끝에서 발가락까지 마비되어 버렸습니다.

예술과 IT - 인터랙티브 아트 : 카메라를 활용한 작업들

http://blog.lgcns.com/1206


그가 할 수 있는 유일한 행동은 눈동자를 움직이거나 눈을 깜빡거려 간단한 의사소통을 하는 것뿐이었지요. 평소 ‘TEMPTONE‘ 의 팬이었기도 했던 사업가 Mick ebeling은 그 소식을 듣고 평소 ‘TEMPTONE‘과 같은 어려운 상황에 처해있는 예술가들이 다시 예술을 할 수 있도록 다국적 Team 을 구성하게 됩니다. 


그 결과 Members of Free Art and Technology와 C++기반 오픈 소스 프로그래밍 개발 툴인OpenFrameworks 그리고 Zach Lieberman, Theo Watson 등 당시에도 상당히 유명했던 미디어 아티스트들로 구성된 일종의 드림팀이 만들어지게 되지요. 그들은 ‘TEMPTONE‘이 다시 Graffiti 작업을 할 방법을 찾고자 고민을 거듭한 끝에, 눈동자의 움직임으로 Graffiti를 할 수 있도록 하자는 결론을 얻게 되었습니다. 


이를 위해서는 눈동자 추적 장치, 즉 Eye tracker가 필요했지만, 문제는 기존 Eye tracking system의 가격이었습니다. 당시만 해도 아주 저렴한 Eye tracker도 천만 원을 훌쩍 넘다 보니, 연구 용도가 아닌 일반인들이 구매하기는 불가능한 수준이었지요. 그래서 우리의 미디어 드림팀은 두 가지 목표를 세우게 됩니다. 첫 번째로 저렴할 것, 두 번째는 Open Source로 공개하여 개발된 기술을 모두가 공유할 수 있도록 하자는 것이었지요. 


이를 통해 전 세계의 개발자들이나 Artist, 그리고 ‘TEMPTONE’과 같은 환자들이 스스로 Eye tracker를 만들고 그들의 Eye Art 작업을 공유할 수 있도록 하자는 것이었지요. 실제로 이 프로젝트는 다수의 미디어 페스티벌에서 소개되고 수상도 많이 하면서 전 세계적으로 알려지게 되었고, 이전까지만 해도 ‘넘사벽’이라 여겨졌던 Eye tracker를 저렴하게 누구나 만들어서 사용할 수 있다는 인식을 가져왔습니다. 


실제로 필자 역시 2012년에 Eye tracker를 만들어서 미디어 작업에도 사용했었고, 더욱 놀라운 것은 그 경험을 통해 Eye tracking을 통한 UI 개발을 주제로 박사 졸업을 할 수 있게 되었죠.


l 필자의 Eye tracker에 얽힌 아름다운 추억들: 

They are (definitely) Happy 작업(좌), Eye tracker를 사용한 UI 개발 논문 영상(우)

(출처: http://jbsong.com/)


또한, Eye tracker의 대중화에도 아주 중요한 역할을 했다고 볼 수 있는데, 이 프로젝트 이후로 저렴한 Eye tracker들이 시장에 나오게 되었고, 지금은 꽤나 유명한 개발사에서도 상당히 저렴한 제품들이 많이 나와서 10만 원대에서도 상당히 좋은 품질의 Eye tracker를 구매할 수 있게 되었습니다. 


l 100달러대의 저렴한 상용 Eye tracker 제품

(출처: https://tobiigaming.com/eye-tracker-4c)


‘TEMPTONE’은 이 프로젝트에 참여하고 나서 “Art is a tool of empowerment and social change, and I consider myself blessed to be able to create and use my work to promote health reform, bring awareness about ALS and help others.”라는 소감을 남겼는데요. 

이렇듯 미디어 작업을 포함한 예술 작업이 한 개인뿐 아니라 전체 사회에도 상당히 큰 역할을 할 수 있음을 상기시켜주는 프로젝트라고 할 수 있습니다. 그럼 지금부터 ‘Eye Writer’ 프로젝트에 사용된 기술과 원리에 대해 좀 더 자세히 살펴보도록 하겠습니다.


 어떻게 만들었을까?

기본적으로 Eye Writer는 크게 두 가지 작업이 필요합니다. 첫 번째는 Eye tracker 제작, 두 번째는 Projection Graffiti software 제작입니다. 하지만 Graffiti 작업은 관련 지식이나 오랜 기간의 경험에서 비롯된 센스가 필요한 관계로, 제가 어설프게 만들기도 어렵기 때문에 이번 제작에서는 Eye tracker 제작에 집중해보도록 하겠습니다. 

최근 휴대폰에서도 충분한 컴퓨팅 파워가 보장되면서, 홍채 인식과 같이 사람의 눈과 관련된 연구가 많이 소개되고 있습니다. 그러나, Eye tracking은 생각보다 상당히 오래전부터 연구되어 온 분야로 정말 다양한 방법이 존재합니다. 사실 ‘눈동자 추적’이라고 하지만, 실제로는 눈동자 안에서도 ‘동공(pupil)’을 분석해서 추출하는데요. 그중에서도 가장 많이 사용되는 방법이 Dark pupil extraction과 Bright pupil extraction입니다. 

l 생각보다 뭔가 많이 있었던 우리 눈의 구조 

(출처: http://www.theeyegalleryok.com/)


우선 Dark pupil을 소개해 드리자면, 그림과 같이 ‘동공’은 눈동자에서 빛을 통과시키는 일종의 구멍(hole)이기 때문에, 대부분 빛이 안구에 들어간 후 나오지 못합니다. 따라서 인종을 불문하고 모든 사람의 ‘동공’은 검은색인 것이지요. (조금 생각해보면 섬뜩하기도 하지요. 내 눈에 구멍이 있다니!) 


그렇다면 눈 이미지에서 가장 검은색인 부분을 ‘동공’으로 인식해서 검출하면 되는데, 눈썹이나 그림자도 검은색이기 때문에 ‘동공’만 검은색으로 만들려면 강한 조명을 비추어 나머지 부분을 밝게 만들어야 합니다. 이때 가시광선을 비추면 눈이 버티지 못하기 때문에, 실제로는 우리 눈에 보이지 않는 빛인 적외선(Infrared, IR)을 비추고 이를 적외선 카메라로 촬영하는 방법을 사용합니다. 


이렇게 되면 아주 쉽고 정확하게 ‘검은색의 동공’ (Dark pupil)을 추출할 수 있게 됩니다. Bright pupil extraction은 반대로 조명과 카메라의 위치를 동일 선상에 위치시켜 빛이 동공 안으로 들어갔다가 반사되어 나오도록 하는 방법인데요. 쉬운 예로는 카메라 플래시로 사진을 찍으면 나오는 일명 ‘빨간눈 사진’이라고도 불리는 ‘적목 현상’을 생각하시면 될 것 같습니다. 


l 대표적인 Eye tracking 방법: Dark pupil & Bright pupil  tracking

(출처: https://www.tobiipro.com)


Dark pupil extraction과 Bright pupil extraction을 함께 사용하는 방법으로 정확도를 높이는 연구도 많고, Eye tracking뿐 아니라 Head tracking까지 함께 고려해야 하는 것 등 사실 Eye tracking을 위해 알아야 할 것이 한둘이 아니지만, Eye writer를 구현하는데 필요한 기술을 소개하는 데는 이 정도에서 멈추는 것이 좋을 것 같습니다. 

Head tracking을 포함한 Eye tracking에 더 관심 있는 독자분들께서는 Eye writer 2 소개 페이지를 참고하시면 조금 더 자세한 정보를 얻으실 수 있습니다. 자 그럼 이제 머리 아픈 해부학이나 이론은 이 정도로 마무리하고 만들어 보기로 할까요?



 만들어봅시다!

그럼 이제부터 ‘Eye writer’를 본격적으로 만들어보도록 하겠습니다. 이번 프로젝트는 Hardware나 Software가 약간의 전문적인 지식이 필요하기 때문에 어렵게 느껴질 수도 있겠지만, (생각해보니 매번 그랬던 것 같긴 하네요.) 우선은 ‘열정의 화이팅’으로 이겨내 봅시다!

(1) 하드웨어 만들기
먼저 하드웨어를 만들어 보도록 하겠습니다. 기본적으로 ‘Eye Writer’의 목표가 ‘누구나 쉽게 저렴한 가격으로 만든다’ 이기 때문에 홈페이지와 Instructable page에 정말 정말 자세한 제작 방법이 올라와 있습니다. 따라서 기초적인 내용부터 차근차근 따라 하고 싶은 독자분들은 공식 사이트를 참고하시는 것도 아주 좋은 공부가 될 수 있을 것 같습니다. 


l Eye Writer의 Hardware 구성 스케치 및 설계도(출처: http://eyewriter.org)


하지만, 우리는 모두 정말 바쁘고 스크롤의 압박을 견딜 수 없는 네티즌(아재의 단어인가요;;)이기 때문에, 여기서는 중요한 내용 중심으로 압축하여 설명해 드리도록 하겠습니다. 기본적으로 우리가 만들 하드웨어의 최종 형태는 ’사용자의 눈을 촬영하기 위해 IR 조명과 카메라가 부착된 Wearable Device’ 입니다. 이를 위해 필요한 준비물은 다음과 같습니다.


1. 안경 (또는 고글): 사용자가 착용할 수 있는, 가능하면 딱 맞아서 흔들리지 않는 안경

2. 카메라: 정확히는 IR 카메라가 필요합니다. 하지만 사용자가 착용할 수 있을 만큼 작은 상용 IR 


카메라는 구하기 쉽지 않습니다. 따라서 이 프로젝트에서는 플레이스테이션 게임기용 카메라인 PS Eye 카메라를 개조해서 사용합니다. 개조하는 방법은 생각보다 간단합니다. 일반적인 디지털카메라의 빛 감지 센서인 CCD 나 CMOS 센서는 적외선 파장의 빛에도 반응하기 때문에, 아주 낮은 조도에서도 화상을 감지할 수 있습니다. 하지만, 사람이 볼 수 있는 빛의 파장은 가시광선 영역이기 때문에 보통은 IR 필터를 사용하여 이 부분을 차단합니다. 


이 IR 필터를 제거하기만 하면 적외선 영역의 이미지를 볼 수 있을 텐데요. 일반적인 웹캠 등의 카메라는 렌즈에 필터가 코팅되어 있거나 하여 필터의 제거가 거의 불가능한 데 비해, PS Eye용 카메라는 IR 필터 렌즈가 따로 존재하기 때문에 제거가 ‘가능’합니다. 사실 Eye Writer 공식 페이지에서는 ‘센서나 당신이 다치지 않게 잘 제거한다’라고 간단히 나와 있지만, 사실 굉장히 어렵습니다.


Google 등에 ‘Remove PS eye IR filter’로 검색하면 동영상 강좌까지 있을 정도이니, 도전하실 분들은 미리 확인하고 진행하시길 바랍니다. 저도 몇 개의 카메라를 부수고 나서야 성공했었지요! 하지만 하드웨어 부분에서는, 이 부분만 잘 해결하면 특별히 어려운 것은 없으니 힘을 냅시다!


l PS Eye 웹캠의 IR Filter 제거(좌), IR LED 부착 후의 모습(우)


3. IR LED: 적외선 LED 조명이 필요합니다. ‘IR LED’나 ‘적외선 LED’로 검색하면, 생각보다 오픈 마켓에서 쉽게 구할 수 있습니다. 일반적으로 많이 사용하는 LED와 똑같이 생긴 것을 사용하셔도 되고, 야간 CCTV용으로 다수의 IR LED가 조립되어 나온 제품을 구매하셔도 됩니다. 대부분 5V 전원이 필요하고, 대략 4~5개 정도만 모여 있으면 충분한 밝기가 나옵니다. 저는 8개정도를 사용했습니다. 


4. 철사, 전선, 만능 기판 및 납땜 장비 등: 미디어 아트를 만드는데 필수품입니다.

이제 구성도의 그림과 같이 조립을 진행하도록 합니다. PS eye camera의 렌즈 주위로 IR LED를 둘러주고, 미리 준비한 안경에 철사로 부착한 후, 눈 부분을 촬영할 수 있도록 조정하면 됩니다. 하드웨어의 형태는 사실 제작자의 마음이기 때문에 꼭 안경의 형태가 아니어도 괜찮습니다. 


저 같은 경우는 앞서 말씀드렸듯이, 논문 주제가 Eye tracker였던 관계로 상당히 전문적인 수준의 하드웨어 제작을 진행했었습니다. 뭔가 Nerd 같은 느낌의 버전 1.0에서 3d printer로 설계한 하드웨어나, 주문 제작 IR webcam 등을 통해 당시에는 나름대로 판매 가능한 수준으로 Eye tracker를 만들고자 했습니다. 물론 하나도 안 팔렸다는 건 비밀입니다! 


l 지금 보면 눈물 나는 필자의 저가형 Open source Eye tracker 제작 기록


l 자랑스러운 필자의Eye tracker최종 형태


(2) 소프트웨어 만들기 


이제 소프트웨어를 만들 차례입니다. 앞의 하드웨어를 잘 만들었다면, IR LED에 의해 동공(Pupil) 부분만 아주 검게 이미지가 나타나는 것을 알 수 있습니다. 이 상태에서 아래 그림과 같이 몇 가지 필터링 과정(노이즈 제거 등)을 거치면 우리가 그토록 바라던 동공 부분을 추출할 수 있게 됩니다.


l 동공(pupil) 추출을 위한 Image Processing 과정

다수의 SW Filter를 거쳐야만 눈동자를 얻을 수 있다!


하지만, 이러한 고생을 할 필요 없이, 앞서 말했듯 Eye Writer는 c++기반의 오픈 소스 개발 toolkit인 openframeworks 기반으로 만들어져 공개되어 있습니다. 그래서 본래는 ‘그저 다운로드 받아서 사용만 하면 됩니다’ 라고 말하고 싶었으나, 이미 개발된 지 오랜 기간이 지난 터라 최근의 개발 환경으로는 컴파일이 되지 않는 불상사가 발생합니다! 


물론, 열심히 에러를 잡아가며 문제를 해결하는 것도 좋은 방법이겠지만, “누구나 쉽게 만들 수 있어요!”라고 할 수는 없기 때문에, 가장 간단한 Eye tracking Graffiti 프로그램을 만들어 보기로 합니다. 


개발 툴은 블로그에서 자주 다루었던 ‘Processing’을 사용합니다. 프로세싱 라이브러리 중 ‘Blob Detection’ 을 설치합니다. Blob Detection library는 이미지에서 설정된 밝기 이상(또는 이하)의 영역을 찾아 그 정보를 보여주는 라이브러리로, 검은색의 동공 부분을 추출하기에 딱 맞는 라이브러리라고 할 수 있습니다. ‘bd_webcam’ 예제를 실행만 하는 것으로 아래와 같은 동공 추출 결과를 얻을 수 있지요!  



l Processing Blob detection library의 ‘bd_webcam’ 사용하여 추출한 동공 이미지!


눈동자(동공)의 위치를 찾아냈으니, 마지막으로 남은 것은 Graffiti 부분입니다. 하지만 저는 Graffiti를 어디서부터 손대야 할지 감이 오지 않는 관계로, 가장 기초적인 방법인 눈동자가 지나가는 점을 Line으로 이어서 그리는 아주 원시적인 Graffiti 방법을 사용하기로 하겠습니다.


(3) 완성과 마무리


드디어 모든 준비가 완성되었습니다. 이제 믿을 것은 본인의 눈이 가진 예술적 잠재력을 이끌어 내는 것뿐입니다. 그런데 직접 눈으로 Graffiti를 해보니 눈으로 글씨를 쓴다는 것은 정말 가능한가를 의심할 정도로 어렵더군요! 


눈이 빠질 것 같은 고통을 참아가며 연습했지만, 결과는 침팬지 수준도 안 되는 것 같아요.  그 치열한 노력의 결과는 아래 동영상에서 확인하실 수 있습니다.


l 뭔지는 알 수 없지만 필자의 눈으로 그린 첫 번째 Graffiti 작품: 눈이 빠지는 고통을 느꼈습니다.



 마치며

오늘은 Make Media Art 여섯 번째 시간으로, Free Art and Technology 와 멋진 동료들의 ‘Eye Writer‘를 만들어 보았습니다. 이번 시간 만들어 본 작업을 보면서 다친 동료가 계속 작업을 할 수 있도록 노력했던 친구와 작가들의 따뜻한 마음이 독자 여러분께도 조금이나마 전달이 되었는지 모르겠네요. 

개인적으로는 박사 시절에 연구 하면서 고생했던 것, 완성하고 나서 느꼈던 희열 같은 것들이 떠올라서 추억에 잠기기도 하면서 꽤 재미있었던 것 같습니다. 사실 고등학교 입시, 군대, 취업 준비 등의 이야기는, 고생의 기억이 다 사라진 추억 속 이라서 즐거운 것이겠지요! 그럼 다음 시간에 더 재미있는 미디어 작업으로 돌아오겠습니다!

글 | 송준봉 | 미디어 아트 그룹 teamVOID

teamVOID는 현재 송준봉, 배재혁으로 이루어진 미디어 아트 그룹으로, 기술과 예술의 융합을 주제로 로봇, 인터렉티브, 키네틱, 라이트 조형 등 다양한 뉴미디어 매체를 통해 실험적인 시스템을 구상하고 그것을 작품으로서 구현하고 있습니다.



* 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 LG CNS 블로그에 저작권이 있습니다.

* 해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.

저작자 표시 비영리 변경 금지
신고
Posted by IT로 만드는 새로운 미래를 열어갑니다 LG CNS
위로