hadoop 썸네일형 리스트형 인공지능과 빅데이터를 위한 정보 분석 아키텍처 2편, LDW 지난 시간에는 인공지능과 빅데이터를 위한 정보 분석 아키텍처 로지컬 데이터 웨어하우스(Logical Data Warehouse)의 정의와 구성 요소에 대해 알아봤습니다. 이번 시간에는 로지컬 데이터 웨어하우스의 적용 사례와 동향에 대해 알아보겠습니다. ● 인공지능과 빅데이터를 위한 정보 분석 아키텍처: http://blog.lgcns.com/1775 LDW(Logical Data Warehouse)의 적용 사례 LDW라는 개념은 2~3년 전에 제시되었고, 다양한 활용 사례들이 있는데요. 그중에서 빅데이터 기술을 활용해 저렴한 저장 공간을 활용한 사례와 분산 병렬 처리를 이용한 배치 속도 개선 사례를 함께 알아보겠습니다. ● 데이터 아카이빙 영역으로 빅데이터 플랫폼 활용생산 공정 과정에서 발생하는 대부분 .. 더보기 인공지능과 빅데이터를 위한 정보 분석 아키텍처 1편, LDW IDC는 2020년, 전 세계 데이터가 44 제타바이트에 이를 것으로 전망했습니다. 모바일, 소셜 미디어, IoT 등 디지털 기술의 발달로 데이터는 폭증하고 있는데요. 발생 데이터 80% 이상이 비정형 데이터로 그 종류도 다양합니다. 바야흐로 데이터의 빅뱅, 빅데이터 시대라 할 수 있습니다. 하지만 기존 정보 분석 환경은 정형 데이터를 기본으로 하고 있어, 다양하고 방대한 양의 데이터 처리가 어려운 실정입니다. 오픈소스의 발달로 빅데이터 처리가 가능해진 하둡(Hadoop)의 등장에 따라 저렴한 비용으로 대량의 데이터를 저장할 수 있게 되었고, 분산 병렬 처리를 지원하여 빅데이터 처리와 분석이 가능하게 되었습니다. 기업들은 이미 구축해 각종 분석에 활용하고 있는 정형 데이터 중심의 데이터 웨어하우스(Dat.. 더보기 빅데이터 처리를 위한 IT기술 빅데이터는 다양한 형태의 데이터가 매우 빠르게 쌓입니다. 빅데이터는 기존 데이터가 쌓이는 방식보다 훨씬 많은 양의 데이터가 쌓여, 그 크기가 엄청난데요. 그만큼 단순히 스프레드시트와 개인 PC로 데이터를 다루기는 한계가 있습니다. 그렇기 때문에, 그 범위를 넘어 거대해진 데이터를 효율적으로 처리하는 방법을 찾고 있습니다. 빅데이터 처리에 특별한 기술이 필요한 이유 빅데이터 처리를 위해서는 강력한 컴퓨팅 파워를 가지고 빠르게 데이터를 처리할 수 있는 하드웨어가 필요합니다. 이 문제를 해결하는 방법은 하드웨어를 훨씬 좋은 성능의 장비로 대체하는 Scale-up 방식과 여러 대의 하드웨어를 연결하여 병렬적으로 데이터를 처리하는 Scale-out 방식이 있습니다. Scale-up 방식은 비용 대비 효과가 작고,.. 더보기 하둡 기반 데이터 웨어하우스 모델링 데이터 웨어하우스(Data Warehouse)는 십 수년간 기업의 의사결정 및 분석을 위한 가장 강력한 엔터프라이즈 애플리케이션의 지위를 유지해 왔는데요. 데이터 웨어하우스를 지원하는 수많은 애플리케이션들도 함께 발전해 왔습니다. 여기에는 수많은 하드웨어와 소프트웨어 벤더들이 제공하는 전통적인 OLAP과 ETL 툴들, 데이터베이스와 서버를 통합한 데이터 웨어하우스 어플라이언스(DW Appliance)들과 인-메모리(In-Memory) 데이터베이스, 비주얼라이제이션(Visualization) 툴 등이 포함됩니다. 빅데이터와 함께 발전하고 있는 하둡 에코시스템에도 데이터 웨어하우스 구축을 위한 다양한 기술 세트가 포함되어 있습니다. 예를 들어, 아파치 하이브는 SQL을 이용하여 분산 스토리지 환경에 저장된 .. 더보기 금융 정보계에 HIA 도입의 필요성, Why? 금융 정보계는 전사에서 발생하는 모든 업무 데이터를 통합하여 통합 분석 View를 제공하고, 이를 기반으로 다양한 사용자 계층별로 분석 목적에 맞는 데이터를 제공하는 역할을 수행하고 있는데요. 빅데이터(Bigdata) 환경이 도래함에 따라 데이터의 양이 폭발적으로 증가하고, 데이터의 유형도 RDBMS(Relational Data Base Management System) 중심의 정형 데이터뿐만 아니라 각종 로그 데이터, 음성 데이터 등 비정형 데이터까지 분석할 필요가 생겼습니다. l 금융 정보계의 발전 방향 기술적으로는 오픈 소스 기반의 Hadoop 기술들이 성숙되어감에 따라 오픈 소스라는 불안감을 불식시키고 전사에서 활용 가능한 수준으로 발전하고 있어, 기존 정보계가 가지고 있는 한계(고가의 시스템, .. 더보기 빅데이터로 실시간 장애감지 및 분석까지! 지금까지 빅데이터에 대한 화두는 주로 데이터 분석으로 시장에 대한 새로운 혜안을 얻거나, 딥러닝(Deep Learning)을 통해 불가능해 보였던 인간의 고유한 영역을 구현하는 것에 집중되었는데요. 오늘은 조금 포커스를 바꾸어 기존에 있던 시스템의 안정성을 보완하는데 활용할 수 있는 빅데이터 기술에 대해 알아보려고 합니다. 금융, 통신, 유통 등 우리 주변 대부분의 서비스들은 인터넷 망을 통해 시간과 공간의 제약 없이 이용할 수 있는 시대가 되었습니다. 사용자들은 이제 언제 어디서든 서비스를 이용한다는 것에 익숙해졌고, 자연스레 서비스의 안정성은 당연한 것이 되었습니다. 이는 수 년간 문제없이 운영되던 서비스라도 찰나의 시스템 장애 때문에 신뢰를 잃을 수도 있다는 것을 의미합니다. 실제로 몇 년 전 한 .. 더보기 빅데이터 시대 DW의 미래, Hybrid DW 빅데이터 기술 『하둡(Hadoop)』에 대해 아시나요? 하둡은 페이스북, 트위터 같은 소셜 미디어나 음성과 동영상 및 기존에 분석하지 않고 버려지던 로그 데이터를 분석하는 데 유용한 기술입니다.하지만, 기업의 중요 데이터를 다루는 영역에는 하둡이 적합하지 않다는 오해를 받고 있는데요. 기업의 중요 데이터 영역은 지금까지 데이터베이스(Data Base, 이하 DB)가 주로 담당하고 있었습니다. 그래서 이와 같은 오해가 생긴 이유는 아마도 하둡은 단순 파일 처리 시스템이라는 인식과 DB가 처리하지 못했던 문서나 로그 같은 비정형 데이터 처리에 주로 많이 사용되었기 때문이 아닌가 생각됩니다. 하지만 하둡은 비정형 데이터 분석뿐만 아니라, 기업의 중요 데이터 분석에도 많이 사용되고 있는데요. 그 중 하나가 바로.. 더보기 보안로그, 통합하면 패턴이 보인다! 미국 서부의 유타(Utah)주에는 아치스(Arches) 국립 공원이 있습니다. 그 곳에 가면 놀라울 정도로 크고 다양한 형태의 아치 모양 바위들을 구경할 수 있는데요. 이 기암괴석들은 오랜 세월 풍화 작용에 의해 형성되었다고 합니다. 지금 이 시각에도 어딘가에서는 강한 바람에 씻기고 깎이며 새로운 아치가 만들어지고 있을지도 모르겠네요. 이처럼 오랜 시간 바람에 부딪치고 깎이다 보면 거대한 바위에도 구멍이 생기듯이 기업의 보안도 마찬가지입니다. 오랜 시간 위협이 지속되면 구멍이 생기기 마련이죠. 또한 근래에는 보안 위협의 형태가 더욱 지능화/고도화되고 있는 상황인데요. 따라서 단일 시스템 혹은 단기간의 보안 데이터만으로는 외부로부터의 침입 혹은 내부 정보의 유출 탐지가 어려운 상황입니다. 따라서 복합적이면.. 더보기 이전 1 다음
