IT Solutions/Big Data

인공지능과 빅데이터를 위한 정보 분석 아키텍처 2편, LDW

2018.08.14 09:30

지난 시간에는 인공지능과 빅데이터를 위한 정보 분석 아키텍처 로지컬 데이터 웨어하우스(Logical Data Warehouse)의 정의와 구성 요소에 대해 알아봤습니다. 이번 시간에는 로지컬 데이터 웨어하우스의 적용 사례와 동향에 대해 알아보겠습니다.


● 인공지능과 빅데이터를 위한 정보 분석 아키텍처: http://blog.lgcns.com/1775




 LDW(Logical Data Warehouse)의 적용 사례

LDW라는 개념은 2~3년 전에 제시되었고, 다양한 활용 사례들이 있는데요. 그중에서 빅데이터 기술을 활용해 저렴한 저장 공간을 활용한 사례와 분산 병렬 처리를 이용한 배치 속도 개선 사례를 함께 알아보겠습니다.

● 데이터 아카이빙 영역으로 빅데이터 플랫폼 활용
생산 공정 과정에서 발생하는 대부분 데이터는 용량이 과다해 3개월 이후에는 테이프로 백업 받아서 보관되는데요. 3개월이 지난 공정 데이터에 대한 품질 확인이 필요한 경우에는 백업 테이프를 검색하고 다시 복구해야 하는데 이 과정에 2주 정도가 소요됩니다. 이러한 데이터 아카이빙 영역에 빅데이터 플랫폼 기술인 하둡(Hadoop)을 활용해 개선할 수 있습니다.

l 데이터 아카이빙으로 빅데이터 플랫폼 활용


하둡 빅데이터 플랫폼을 활용하게 되면 장기 이력 데이터에 대한 사용자 상세 분석 시간을 기존 15일 이상 소요되던 것을 1일 이내로 단축할 수 있고, 저가의 디스크 활용으로 75% 비용으로 구축할 수 있습니다. 그뿐만 아니라 최근 데이터와 이력 데이터와의 연계 분석도 가능해집니다.


● 대용량 배치처리를 빅데이터 플랫폼에서 실행

빅데이터 플랫폼은 분산 병렬 처리에 장점이 있습니다. 기존 시스템에서 장기간 소요되는 배치 작업을 빅데이터 플랫폼에서 실행하고 그 결과를 DW 플랫폼에 제공해 전체 배치 시간을 획기적으로 단축할 수 있습니다. 매일 수백 GB 단위로 발생하는 데이터에 대한 처리는 하둡을 통해 가능합니다.


l 빅데이터 플랫폼을 활용한 배치 성능 개선


대용량 배치 처리를 하둡 빅데이터 플랫폼에서 실행할 경우 기존 DW 플랫폼으로 동일 성능을 확보하는 데 필요한 비용 대비 1/4 비용으로 구성할 수 있고, 전체 작업은 시간은 60% 단축될 수 있습니다.


작업 시간의 단축은 DW 데이터의 적시성 확보를 가능하게 하여 의사결정이 신속해졌고, VOC 대응이나 고객 이상 징후에 대한 신속한 대응으로 고객만족도 역시 향상될 수 있습니다.



 LDW(Logical Data Warehouse)의 동향

● LDW 관련 Hype Cycle

l Hype Cycle for Analytics and Business Intelligence, 2017


2017년 7월에 발표한 가트너의 ‘Hype Cycle for Analytics and Business Intelligence, 2017’을 보면 LDW는 환멸 단계(Trough of Disillusionment)를 지나고 있으며, 조금씩 사례들이 나오고 지원 솔루션들이 개선되면서 계몽 단계로 진입할 것으로 예상합니다.


마이크로소프트(MicroSoft)는 SQL Server를 기반으로 하둡을 연계하는 아키텍처를 제시하고 있으며, 클라우드 서비스인 MS Azure에서는 빅데이터 기술인 HD Insights 서비스를 제공하고 있습니다.


전통적으로 대용량 처리의 강자인 테라데이터(Teradata)는 SQL-H, Aster 등을 기반으로 UDW 아키텍처를 제시하고 있으며, 운영 DBMS의 최강자인 Oracle은 DW 전용 Appliance인 Exadata와 하둡 플랫폼의 선두 업체인 클라우데라(Cloudera)를 기반으로 BDA를 시장에 출시해 다수의 고객사를 확보하고 있습니다.


● Microsoft Analytics Platform system
마이크로소프트는 Polybase를 이용하여 SQL 서버와 빅데이터 플랫폼인 하둡과 인터페이스를 하는 아키텍처로 구성됩니다. 빅데이터 플랫폼으로는 홀튼웍스(Hortonworks) 제품과 클라우데라를 지원합니다.

l Microsoft Analytics Platform


● Teradata UDW(Unified Data Warehouse)

테라데이터는 전통적으로 대형 전문 DW 솔루션을 보유하고 있는 업체입니다. 하둡까지 솔루션 영역을 확대해 데이터 수집부터 분석 및 사용자의 활용까지 지원하는 다양한 모듈을 제공하고 있습니다.


● Oracle Big Data Appliance

오라클(Oracle)은 빅데이터 플랫폼 업체인 클라우데라 제품과 통합한 BDA(Big Data Appliance)를 제공하고 있습니다. 기존의 DW Appliance인 Exadata를 채택한 고객사가 많아 전체 제품 통합 차원에서 선호되는 아키텍처입니다.


l Oracle BDA


최근 LDW는 빅데이터 플랫폼 솔루션의 성숙도가 향상되고, 보안에 대한 불안감이 해소되면서 확대되는 추세로, LG그룹사는 다양한 형태의 LDW를 이미 구축했거나 구축 중입니다.


공공시장은 대기업 참여 제한이 풀리면서 이미 구축한 DW를 고도화하면서 빅데이터 플랫폼과 통합한 아키텍처 도입을 검토하고 있고, 금융권도 LDW를 적극적으로 검토하고 있습니다.


PoC나 Pilot 단계를 지나 운영 시스템으로 LDW를 도입 중인 은행들이 증가하고 있으며, 카드 및 보험 업계에서도 구축에 대한 구체적인 고민을 시작하고 있습니다. 그뿐만 아니라, 과거에 DW를 구축한 회사들도 LDW로 점차 전환할 것으로 예상하고 있습니다.



인공지능의 핵심 기술로 주목을 받는 딥러닝을 위해서는 LDW가 필요하고, 빠른 학습을 위해서는 GPU(Graphic Process Unit) 기반의 아키텍처가 필요하므로 빅데이터 기술뿐만 아니라 GPU 기술까지 포괄하는 아키텍처로 발전이 예상됩니다.


NLU(Natural Language Understanding)를 위해서는 다양한 케이스의 데이터들이 필요하며, NLU의 기반으로도 LDW의 역할이 중요해질 것으로 보입니다.


글 l LG CNS AI빅데이터사업담당


* 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 LG CNS 블로그에 저작권이 있습니다.

* 해당 콘텐츠는 사전 동의없이 2차 가공 및 영리적인 이용을 금하고 있습니다.


Posted by IT로 만드는 새로운 미래를 열어갑니다 LG CNS
위로