IT Solutions/Big Data

빅데이터에 대한 오해와 금융권의 빅데이터 활용 (1)

2013.12.23 10:03

2013년 10월부터 시행된 '공공데이터의 제공 및 이용 활성화에 관한 법률안'으로 정부기관의 공공정보가 대부분 개방되었습니다. 이와 함께 정부를 비롯한 전 분야에서의 수요 증가로 2014년 국내 데이터베이스 산업은 12조 원에 달할 것으로 전망되고 있는데요.

그럼에도 불구하고 빅데이터를 '빅(Big)+데이터(Data)' = '어마어마하게 많은 데이터' 정도로만 이해하고 있는 경우가 많습니다.

틀린 말은 아니지만, 빅데이터를 이해할 때는 데이터 처리량뿐만 아니라 데이터 유형, 분석속도, 분석범위 측면도 함께 고려해야 합니다.
즉, 빅데이터는 초대용량 데이터인 한편, 그 데이터의 유형이 기존 '정형 데이터'는 물론 메타정보와 센서 데이터, 공정 제어 데이터 등 미처 활용하지 못하고 있던 '반정형 데이터', 사진, 이미지와 같이 지금까지 기업에서 활용하기 어려웠던 멀티미디어 데이터인 '비정형 데이터'를 모두 포함합니다. 또한, 분석이 실시간으로 이루어지며 분석범위가 기존의 결과에 대한 분석과는 달리 예측이라는 개념이 주를 이룬다는 점을 이해해야만 빅데이터의 본질적인 의미와 가치를 알 수 있습니다.

[빅데이터의 의미] 빅데이터는 데이터 처리량이 대량에서 초대용량으로 많아진 것뿐 아니라,
데이터 유형, 분석속도, 분석범위 측면에서 더욱 광범위하고 자유로운 분석을 의미합니다.

 

1) 빅데이터는 데이터가 많다는 뜻인가요?
최근에는 빅데이터라는 단어가 여기저기서 많이 들려 옵니다. 얼마 전에는 모 웹툰에 빅데이터가 등장해 흥미롭게 봤던 기억이 있는데요. 이 만화는 빅데이터와 통계 관련 분석 프로그램을 소재로 다루고 있습니다. 만화 속에서 여주인공을 좋아하는 사람들이 모두 다치거나 죽음을 맞는 등 사고를 당하는데, 남주인공은 그녀 주변 사람들의 불행이 우연일 뿐이라는 점을 증명하기 위해 관련 데이터를 수집하기 시작합니다.


[강풀 만화 ‘마녀’에 빅데이터가 나오는 장면 – 출처: 미디어다음 만화속세상]
‘더 많은 데이터’, ‘대규모로 저장된 데이터’, ‘많은 양의 데이터’를 빅데이터라고 설명하는 부분은
약간 오해의 소지가 있습니다. (만화는 물론 너무 재밌습니다. 강풀 작가님 쵝오! ^^)

만화 속에서 남주인공의 "정보는 데이터다. 나는 더 많은 데이터를 수집해야 한다. 그래야 비로소 데이터마이닝이 가능해진다"는 독백장면이 있는데요. 데이터마이닝은 "대규모로 저장된 데이터 안에서 체계적이고 자동으로 통계적 규칙이나 패턴을 찾아내는 것, 많은 양의 데이터로부터 유용한 정보를 추출하는 것"이라고 설명합니다. 이 과정에서 ‘더 많은 데이터, 대규모로 저장된 데이터, 많은 양의 데이터 = 빅데이터’라고 설명하는 부분은 약간 오해의 소지가 있습니다.

앞에서도 언급한 것처럼 빅데이터는 데이터의 양만을 강조하는 것이 아니라 자료의 유형, 분석속도, 분석범위 측면까지 고려해야 합니다. 특히 웹툰에 나오는 내용처럼 지금까지 쌓아둔 데이터를 모두 모아서 분석하는 것뿐 아니라 지금까지는 따로 저장하지 않고 버려졌던 데이터, 기존 로그 기록 등 수치화되는 자료(정형 데이터) 외에도 문자메시지, 검색어, 동영상, 위치정보 등 비정형 데이터를 모두 조사하는 것을 말합니다.

 

2) 많은 데이터를 살펴보다 보면 이상 징후가 보이나요?
최근 빅데이터를 활용하려는 기업들이 점점 늘어나고 있는데요. 고객들을 만나서 빅데이터에 대해 설명하다 보면 꼭 듣는 질문이 있습니다.

“그러니까…… 빅데이터 기술을 이용해서 데이터를 막 다 모아서 보다 보면 우리가 모르던 이상 징후나 패이 발견될 수도 있는 건가요?”

이 말은 완전히 틀린 말은 아니지만, 목적 없이 수많은 데이터를 모아서 뚫어져라 보기만 한다고 해서 특정 징후나 패턴이 발견되지는 않습니다. 빅데이터는 매직아이가 아니거든요;;


[매직아이]
매직아이처럼 데이터를 뚫어지게 들여다보고 있으면 기존분석방법으로는 볼 수 없었던
전혀 새롭고 혁신적인 무언가가 ‘뿅!’ 하고 튀어나올 것 같지만… 안 나옵니다;;

늘어나는 데이터 유입과 함께, 모든 것을 분석하고자 하는 유혹도 생겨나지만, 더 많은 것이 반드시 더 좋은 것은 아닙니다. 오히려 과잉분석은 잘못된 결론으로 이끌 가능성이 있기 때문에 조심해야 합니다.

빅데이터 분석을 위해서는 "분석을 통해 얻고자 하는 것이 무엇인가?” 하는 목표가 명확해야 합니다. 분석을 통해 매출을 증대시킬 것인지, 아니면 고객을 만족하게 할 것인지 정확한 목표가 있어야 한다는 것입니다. ‘데이터를 모아서 분석하다 보면 매출도 증대되고 고객도 만족하게 할 수 있지 않을까?’라고 생각한다면 들이는 노력에 비해 얻는 것이 별로 없을 가능성이 매우 큽니다. 그렇다고 해서 목표가 반드시 시장 중심, 또는 판매 중심일 필요는 없으며, 운영 효율성 개선이나 비용 절감과 같이 중요한 목표면 됩니다. 즉, 목표가 명확해야만 비로소 빅데이터 분석을 통해 의미 있는 결과를 낼 수 있는 것입니다.

 

3) 빅데이터는 데이터마이닝을 포장만 다르게 해서 부풀린 개념 아닌가요?
사실 빅데이터는 ‘많은 데이터 가운데 숨겨져 있는 유용한 상관관계를 발견하여 미래를 위한 의사결정에 활용한다’는 점에서 데이터마이닝과 크게 다르지 않습니다. 데이터마이닝 또한 이전의 CRM(Customer Relationship Management: 고객관리)과 크게 다르지 않습니다. 결국, 빅데이터는 갑자기 생겨난 것이 아니라 지금까지 있었던 분석방법에 비해 데이터 처리량, 유형, 분석속도, 분석범위 측면에서 더욱 광범위해지고 더 다양해진 것이라 할 수 있습니다.

따라서 빅데이터가 데이터마이닝과 완전히 동떨어진 혁신적인 개념이라고는 할 수는 없습니다. 다만, 기존 데이터 관리 도구로는 수집/저장/검색/분석이 어려웠던 텍스트/사진/동영상/위치정보 등, 정형화되지 않은 자료까지 포함하는 정보를 분석하여 가치 있고 일정한 현상을 찾아낸다는 점에서 빅데이터는 기존 데이터마이닝에서 진일보한 개념이라 할 수 있습니다.

예를 들어 기존의 분석방법으로 선거 기간에 유권자의 생각을 묻거나 기업이 신제품에 대한 고객 반응을 조사할 경우 대상자는 솔직하게 답하지 않는다거나, 질문자가 제한하는 '틀' 안에서 본의 아니게 선택을 강요받기도 합니다. 조사대상도 샘플로 불리는 집단에 한정되다 보니 어느 정도 왜곡된 결과를 초래할 수밖에 없었죠. 하지만 빅데이터 분석을 활용하면 블로그나 트위터에 자유롭게 올린 개개인의 생각을 분석할 수 있고 전수조사도 가능해, 훨씬 솔직하고 의미 있는 결과를 얻을 수 있습니다. 또한, 과거에는 분석대상이 과거 정보에 국한될 수밖에 없었지만, 빅데이터를 활용하면 현재 상황을 실시간으로 분석할 수 있다는 점도 큰 차이점입니다.


[유권자 의식 조사 예시 - 연합뉴스 2012.12.11.]
과거 조사방법이 표본조사/직접질문/과거 데이터 분석이라는 특징을 갖는다면, 빅데이터
조사방법은 전수조사가 가능하고, 직접 묻지 않고도 개개인이 자유롭게 표현한 생각을 분석할
수 있으며, 실시간 분석이 가능하므로 보다 유의미한 결과를 기대할 수 있습니다.

지금까지 빅데이터의 개념에 대해 알아보았는데요. 빅데이터에 대해 알아보다 보니 영화 “마이너리티 리포트”처럼 빅데이터를 통해 범죄가 발생하기도 전에 범죄를 예측하고 범죄자를 체포해 범죄 없는 사회를 만들 수도 있지 않을까 하는 환상에 빠진 적도 있습니다. 하지만 이런 시나리오는 1984년 IBM의 연구원 마크 와이저에 의해 처음 제안된 이래 계속 연구되어 오는 진행형이며, 빅데이터에 의해 갑자기 이러한 발상이 현실화되기는 어렵다고 합니다.


[영화 “마이너리티 리포트” – 출처: NAVER 영화]
이 영화에서는 빅데이터에서 주로 활용하는 개개인의 속성이나 행동패턴 데이터를 분석하여
미래를 예측하는 것이 아니라, 미래를 보는 초자연적 능력을 지닌 세 명의 ‘예언자’를
활용한다는 점에서 현실성이 많이 떨어집니다. 역시 영화는 영화일 뿐... 하지만 지금부터 10년
전인 2002년에 이런 발상을 할 수 있었다니, 정말 놀랍습니다.

 

- 2편에서 계속됩니다.

 

*자료 사진 : 콘텐츠 이미지는 자료에 대한 이해용도로만 사용되었습니다.

 

 

l 글 원혜림 책임 l LG CNS Entrue컨설팅사업부문 금융그룹

저작자 표시 비영리 변경 금지
신고
Posted by IT로 만드는 새로운 미래를 열어갑니다 LG CNS
위로