미래 경영을 위한 빅데이터와 고급분석(Advanced Analytics) 1편

과학적 상상력의 대가인 러시아 출신 미국인 작가 아이작 아시모프(Isac Asimov)가 22살부터 약 50년간 집필한 연작소설 ‘파운데이션(Foundation)’에는 주인공 해리 샐던이 기체 분자의 운동역학을 인간 집단에 적용하여, 미래를 예측할 수 있도록 개발한 심리역사학이라는 가상의 이론이 나옵니다. 

분자 개개의 행동은 예측할 수 없지만, 수학으로 공기 전체의 움직임을 예측할 수 있는 것처럼, 인간 개개인의 행동은 예측할 수 없지만 수학을 통해 인간의 집단적 행동과 역사의 흐름을 예측할 수는 있다는 이론입니다. 

소설 속의 이 이론은 인간, 자연, 기계 등의 행동에 대한 대규모의 데이타를 수집, 분석하여 미래를 수학적으로 예측하고 이를 활용한다는 점에서 부각되고 있는 빅데이터 및 고급분석(Advanced Analytics)과 매우 유사합니다. 다른 점은 아이작 아시모프가 소설을 쓸 당시에는 상상에 불과했지만, 이제는 현실이 되어 가고 있다는 것이지요.

   

<SF의 대가, 아이작 아시모프(Isac Asimov), 1920~1992(좌), 그의 저서 파운데이션(Foundation)(우)>
사진출처: 위키피디아

그러면 도대체 빅데이터는 무엇일까요? 무조건 데이터의 양이 많으면 빅데이터일까요? 결론부터 말하자면 양적으로나 질적으로 과거의 기술로는 정보로서 의미화가 불가능한, 기존 상식에서는 상상조차 할 수 없는 거대한 데이터를 지칭합니다.

과거에는 불특정 다수의 사람들이 주고 받는 대화나, 관심거리, 희망사항 등은 수집과 데이터화가 불가능하였습니다. 또한 최근 미디어의 발달에 따라 소셜 미디어상에서 텍스트, 영상, 그림 등으로 전파되고 공유되면서  매우 복잡한 성격을 가지게 되었습니다. 이러한 빅데이터는 새로운 스마트 기술을 만나면서 저비용으로 유용한 가치를 만들어 낼 수 있는 원천이 되고 있습니다.

이들 데이터는 하나 하나로서는 무의미하지만, 앞에서 언급한 아이작 아시모프의 소설 파운데이션에서처럼 전체를 모아서 적절히 분석만 한다면 사람들이 원하는 것이 무엇인지, 트렌드는 무엇인지 앞으로의 시장변화가 어떻게 일어날 수 있을지 예측할 수 있겠죠. 이러한 거짓말 같은 것을 실제로 구현하는 기술을 빅데이터 기술이라고 합니다.

빅데이터의 출현 배경 기존 소셜 네트워크 서비스로 대표되는 소셜 미디어의 성장과, 최근 스마트 폰으로 대변되는 모바일 장치의 확산이 결합되어, 일상 속에서 다양한 종류의 대규모 데이터가 급속히 생성, 유통, 저장되고 있습니다. 또한 RFID와 같이 정보를 감지하는 센서 장비의 이용 확대와 이러한 정보를 수집하는 클라우드 컴퓨팅 기술의 확산은, 물류의 이동 및 재고의 변화뿐만이 아닌 개별 소비자들의 개인정보 및 소비행태와 같은 모든 일상에 대한 디지털 기록까지 가능하게 하였습니다. 기업 및 사회는 이러한 수집된 데이터를 기반으로 예측 분석을 하기 위하여, 다양한 종류의 대규모 데이터 처리, 분석 및 활용 기술을 필요로 하게 되었습니다. 이러한 대량의 다양한 데이터 생산 기술의 진보와, 이에 필요한 데이터 저장•관리•분석 기술의 발전 속에서 빅데이터가 출현하게 되었습니다. 출처 : 위키피디아

빅데이터 기술은 빅데이터의 속성을 정확히 파악하고 적용하여야만 유용한 정보를 추출할 수 있습니다. 그 속성은 크기(Volume), 다양성(Variety, 비구조화), 가변성(Variability), 속도(Velocity)라는 네 가지를 꼽을 수 있으며 이를 ‘4V’라고 합니다. 우리가 얻고자 하는 정보가 담겨 있는 빅데이터는 이 네 가지 속성을 감안해서 어떻게 기술적으로 처리하느냐에 따라 중요한 정보가 될 수도 있지만 쓸모 없어질 수도 있는 것입니다.

< 빅데이터의 4가지 속성, 크기(Volume), 다양성(Variety, 비구조화), 가변성(Variability), 속도(Velocity)>

결국 어떻게 하면 이 엄청난 양의 데이터를 기술적으로 구조화시켜서 유용한 정보를 추출할 수 있도록 가공할 것인가, 또한 그러한 처리과정에서 데이터가 변화하는 속도는 어떻게 감안할 것인가가 빅데이터 기술의 핵심입니다.

* 다음에 게재될 ‘빅데이터와 고급분석 2편’에서는 빅데이터의 4가지 속성을 감안하여 정확히 미래를 예측할 수 있는 고급분석에 대해 알아보겠습니다.

글ㅣ LG CNS 전략기획부문 VI팀 천석진 차장, 금융해외사업담당 해외영업팀 황순성 차장