하둡 프레임워크의 특장점과 이를 활용한 LG CNS의 빅데이터 플랫폼 소개

1편에서 하둡에 대한 소개, 어떠셨나요? (1편 바로가기) 2편에서는 하둡 프레임워크의 특징과 이를 활용, LG CNS에서 개발한 빅데이터 플랫폼에 대한 간단한 소개를 하겠습니다.

오픈 소스 소프트웨어는 말 그대로 프로그램 코드가 누구나 활용 가능하도록 오픈 되어있다는 의미입니다. 누구든 자유롭게 사용, 복제, 배포, 수정할 수 있지요. 하둡(Hadoop)은 아파치 재단(ASF: Apache Software Foundation)의 소프트웨어이며 오픈 소스이므로 필요한 부분을 자유롭게 변경할 수 있는 장점이 있습니다. 또한 Hadoop은 이를 활용한 소프트웨어 제품에 대한 소스코드 공개 등의 의무가 발생하지 않으므로 타 기업에서 이를 활용한 자체 솔루션(Solution) 개발이 가능합니다.

일반적인 시스템은 초기 시스템 도입 시 현재 사용량이 적더라도 향후 필요한 하드웨어/소프트웨어의 용량을 예측, 이에 맞춰 시스템을 도입해야 하는 이른바 ‘도입 비용’이 발생합니다. 그리고 필요한 경우 시스템 자원을 자유롭게 추가하기 상대적으로 어려운 구조입니다. 하둡 아키텍처는 1편에서 언급한 노드(Node)에 해당하는 하드웨어(일반적으로 PC)를 병렬로 추가하면 되므로 타 시스템 대비 훨씬 수월하게 자원을 확보할 수 있으며, 필요에 따른 성능을 쉽게 업그레이드 할 수 있습니다. 업계 용어로는 확장성이 용이하다고 하지요.

1편에서도 언급한 바와 같이 하둡 아키텍처는 여러 개의 노드를 활용해 데이터를 분산/병렬 처리하므로 대용량 데이터 처리가 가능합니다. 또한 장비의 성능이 낮은 서버, 예를 들어 출시한지 오래된 PC나 심지어 노트북으로도 구성하기에 따라 어느 정도 성능을 발휘할 수 있는 시스템 구축이 가능하답니다.

하둡은 확장성(Scalability)에 있어서 초기 도입 비용이 비교적 저렴하다는 장점 외에 가격 경쟁력도 가지고 있습니다. 저렴한 비용의 성능이 낮은 서버로 시스템의 구성이 가능함으로써 업무 특성에 따라 염가로 시스템 구축이 가능합니다. 또한 앞서 언급한 것처럼 오픈 소스를 사용하기 때문에 상용 S/W 도입 시 지불해야 하는 라이선스 비용 자체가 없으므로 가격 경쟁력을 확보할 수 있겠죠?

 

LG CNS는 2012년에 국내 최초로 빅데이터 통합 솔루션인 “스마트 빅데이터 플랫폼(SBP)”을 출시했습니다. SBP 솔루션은 하둡 프레임워크를 기반으로 빅데이터 시스템 구축에 필요한 모든 구성요소를 원스톱(One-Stop)으로 설치, 활용할 수 있는 통합 솔루션이죠.

SBP 솔루션은 빅데이터 시스템 표준 배포판인 '빅팩(BigPack)'과 빅데이터 서버 관리 도구인 'SCM(Service & Configuration Manager)', 비즈니스 응용프로그램 자동개발 도구인 'MR 디자이너(MapReduce Designer)'로 구성됩니다.

SBP는 다양한 유형의 데이터를 수집해 병렬 처리하고, 처리된 데이터의 저장에 이르는 Big Data의 처리 및 관리에 대한 통합 서비스를 제공하는 플랫폼입니다.

 

<Smart Big data Platform(SBP)의 구성>

'빅팩(BigPack)'은 국내 최초로 출시된 빅데이터 시스템의 표준입니다. 예전 리눅스가 초창기에 무료로 배포되었을 때 안정성에 문제가 된 적이 있었지요? 빅팩은 리눅스처럼 안정성이 다소 떨어지는 ‘하둡’의 문제점을 LG CNS의 축적된 기술력을 바탕으로 검증하고 최적화한 배포판입니다. 복잡한 구조로 이루어진 빅데이터 시스템을 하나의 패키지로 제공, 설치와 사용 편의성도 극대화했습니다. 

한편, 하둡과 관련한 기술은 하루가 다르게 발전하고 있습니다. 이에 대한 빠른 지원도 중요하겠지요? 하둡에 대한 지속적인 신기술 검증 및 새로운 버전에 대한 호환성 또한 LG CNS가 직접 신속하게 제공합니다. 그래서 빅팩을 설치한 고객은 LG CNS가 보장하는 보다 안정적이고 믿을 수 있는 빅데이터 시스템을 운영할 수 있습니다.

‘MR 디자이너’는 누구나 손쉽게 비즈니스 프로세스에 따라 시스템에서 작동하는 빅데이터 응용프로그램을 개발할 수 있는 워크플로우(WorkFlow)기반의 자동개발 도구입니다. 사용자는 GUI(Graphic User Interface) 환경에서 마우스로 끌어다 놓고 연결만 해주는 방식(드래그 앤 드롭)으로 빅데이터 분석을 활용할 수 있습니다.

 

<MR 디자이너를 이용한 응용프로그램 개발 사례>

‘SCM’은 막대한 수의 서버를 활용하는 빅데이터 시스템의 설치와 설정, 제어를 단 한 대의 PC로 일괄 관리할 수 있도록 해주는 빅데이터 서버의 관리 도구입니다. 빅데이터 시스템을 구성하는 수 십에서 수 천 대에 이르는 서버를 일일이 관리하기라 쉽지 않겠지요? LG CNS는 국내 최고의 데이터센터 운영 노하우를 적용해 이러한 불편을 획기적으로 개선했습니다.

 

빅데이터의 잠재적 활용 가치는 산업 분야 별로 차이가 존재할겁니다. 정보통신, 제조, 금융/보험, 공공/행정 관련 업무에서 빅데이터를 분석하고 결과를 활용한다면 생산성의 증가를 기대할 수 있습니다.. 

빅데이터 기술의 발전은 현재진행형입니다. 갈수록 처리해야 하는 데이터의 양이 늘어나는 현실에서 기존 방식만으로 이를 처리하기엔 어려움이 있기에, 빅데이터 관련 기술의 혁신이 끊임없이 이루어지고 있습니다. 일례로 빅데이터의 효율적인 처리를 위해 최근 각광 받고 있는 클라우드 컴퓨팅 솔루션을 적용한 새로운 빅데이터 처리 기술이 나올 것으로 예상됩니다.

또한 빅데이터와 관련된 IT 기술 인력의 수요가 늘어날 것으로 전망됩니다. 현재 화두로 떠오르고 있는 빅데이터의 데이터 분석 전문가와 관련 IT 기술 인력은 부족한 실정이며, 이들은 향후 비약적으로 발전할 빅데이터 시장에서 점점 더 중요한 역할을 하게 될 것입니다. 

<BigData Market Forecast>

빅데이터를 잘 활용할 수 있다면 새로운 사업 기회를 창출하고, 내재된 위험을 사전에 인지, 해결하는 역할도 수행 할 수 있을 겁니다. 또한 대규모의 데이터를 신속하게 분석해낸다면 대통령 선거 당선자의 실시간 예측, 또는 TV 광고 효과의 실시간 분석과 같이 이전에는 상상하기도 어려웠던 일들도 기대할 수 있겠죠?

글ㅣLG CNS AA플랫폼팀