본문 바로가기

데이터 웨어하우스

인공지능과 빅데이터를 위한 정보 분석 아키텍처 2편, LDW 지난 시간에는 인공지능과 빅데이터를 위한 정보 분석 아키텍처 로지컬 데이터 웨어하우스(Logical Data Warehouse)의 정의와 구성 요소에 대해 알아봤습니다. 이번 시간에는 로지컬 데이터 웨어하우스의 적용 사례와 동향에 대해 알아보겠습니다. ● 인공지능과 빅데이터를 위한 정보 분석 아키텍처: http://blog.lgcns.com/1775 LDW(Logical Data Warehouse)의 적용 사례 LDW라는 개념은 2~3년 전에 제시되었고, 다양한 활용 사례들이 있는데요. 그중에서 빅데이터 기술을 활용해 저렴한 저장 공간을 활용한 사례와 분산 병렬 처리를 이용한 배치 속도 개선 사례를 함께 알아보겠습니다. ● 데이터 아카이빙 영역으로 빅데이터 플랫폼 활용생산 공정 과정에서 발생하는 대부분 .. 더보기
인공지능과 빅데이터를 위한 정보 분석 아키텍처 1편, LDW IDC는 2020년, 전 세계 데이터가 44 제타바이트에 이를 것으로 전망했습니다. 모바일, 소셜 미디어, IoT 등 디지털 기술의 발달로 데이터는 폭증하고 있는데요. 발생 데이터 80% 이상이 비정형 데이터로 그 종류도 다양합니다. 바야흐로 데이터의 빅뱅, 빅데이터 시대라 할 수 있습니다. 하지만 기존 정보 분석 환경은 정형 데이터를 기본으로 하고 있어, 다양하고 방대한 양의 데이터 처리가 어려운 실정입니다. 오픈소스의 발달로 빅데이터 처리가 가능해진 하둡(Hadoop)의 등장에 따라 저렴한 비용으로 대량의 데이터를 저장할 수 있게 되었고, 분산 병렬 처리를 지원하여 빅데이터 처리와 분석이 가능하게 되었습니다. 기업들은 이미 구축해 각종 분석에 활용하고 있는 정형 데이터 중심의 데이터 웨어하우스(Dat.. 더보기
데이터 전처리 과정을 자동화해주는 도구, SSDP SSDP(Self Service Data Preparation)는 BI/DW에서의 데이터 전처리 도구(Data Preparation Tools)의 차세대 버전으로, 데이터 전처리 과정을 자동화 및 지능화해 주는 도구입니다. 비즈니스 사용자의 데이터 분석을 지원하는 기술인 ‘셀프서비스 BI’가 데이터 준비 절차인 ‘셀프서비스 데이터 프레퍼레이션’으로 확장된 것입니다. 가트너는 ‘SSDP는 현업 사용자가 분석을 수행할 때 다양한 원천 데이터 소스와 각종 분석 도구의 중간인 데이터 전처리 과정(데이터 탐색, 통합, 카탈로깅, 정제, 변환, 모델링 등)에서 요구되는 복잡도와 소요시간을 줄여주는 도구’라고 정의하고 있습니다. l SSDP 개요 SSDP 등장 배경 인공지능과 빅데이터의 급부상으로 인해 현업 사용자가.. 더보기
그는 어떻게 의료인에서 ICT 전문가가 되었나? 전 세계적으로 제4차 산업혁명의 열풍이 뜨겁습니다. 의료계 역시 제4차 산업혁명의 최전선에서 새로운 변화의 중심에 서 있는데요. 차세대 병원정보시스템(HIS, Hospital Information System)의 개발 및 수출을 이끈 ‘HIS 전도사’ 분당서울대병원의 황희 CIO. 그가 그리는 건 인공지능이 휴먼 인터랙션(사람 상호작용)을 방해하는 불친절한 방해자가 아니라 의사와 환자 간의 상호작용을 돕는 친절한 보조수단으로 자리하는 미래였습니다. 의료인에서 ICT 전문가로 거듭난 황희 CIO를 만나보겠습니다. Q 본업에 해외의료사업에 강의 요청까지 쇄도하고 있어 요즘 몸이 열 개라도 모자랄 것 같습니다. 주어진 일, 해야 할 일을 하다 보니 멀티플레이어가 되어버렸습니다. 잠잘 때 외에는 쉴 시간이 없습.. 더보기
데이터마이닝 소개와 분석 방법 최근 들어 빅데이터가 사회의 큰 화두도 떠오르고 있는 가운데 빅데이터 분석에 있어서 가장 중요한 분석 도구로 알려져 있는 데이터마이닝(Data mining)에 대한 수요가 급증하고 있습니다. 데이터마이닝은 과거부터 다양하게 정의되고 있는데, 그 정의들을 살펴보면 데이터마이닝은 대용량 데이터에 대한 탐색적 분석 도구라는 관점을 공통적으로 언급하고 있습니다. 데이터마이닝에서 ‘Mining’은 ‘채굴하다’라는 사전적 의미를 가지고 있습니다. 즉, 거대한 데이터 더미 속에서 가치 있는 어떠한 것을 채굴하는 것이지요. 따라서 데이터마이닝은 방대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 과정이라고 할 수 있습니다. 데이터마이닝이 출현하게 된 배경은 정보통신기술(ICT)의 발전으로 인한 데이터.. 더보기
하둡 기반 데이터 웨어하우스 모델링 데이터 웨어하우스(Data Warehouse)는 십 수년간 기업의 의사결정 및 분석을 위한 가장 강력한 엔터프라이즈 애플리케이션의 지위를 유지해 왔는데요. 데이터 웨어하우스를 지원하는 수많은 애플리케이션들도 함께 발전해 왔습니다. 여기에는 수많은 하드웨어와 소프트웨어 벤더들이 제공하는 전통적인 OLAP과 ETL 툴들, 데이터베이스와 서버를 통합한 데이터 웨어하우스 어플라이언스(DW Appliance)들과 인-메모리(In-Memory) 데이터베이스, 비주얼라이제이션(Visualization) 툴 등이 포함됩니다. 빅데이터와 함께 발전하고 있는 하둡 에코시스템에도 데이터 웨어하우스 구축을 위한 다양한 기술 세트가 포함되어 있습니다. 예를 들어, 아파치 하이브는 SQL을 이용하여 분산 스토리지 환경에 저장된 .. 더보기
스마트시티, 데이터 분석과 함께 발전하다 스마트시티에 대해 최근 많이들 이야기 하고 있는데요. 우리의 도시를 디지털로 변환해 주는 디지털 생태계와 그 안에서 발생하는 정보를 전략적으로 관리하기 위해서는 무엇보다 먼저 데이터 인프라 구축을 고려해야 합니다. 오늘은 여러분께 스마트시티와 데이터에 대해서 이야기 해볼까 합니다. 지난 해 저는 스마트시티에 대해 두 그룹에서 강의하며 다시 한 번 스마트시티에 대해 생각해 볼 기회가 있었습니다. 첫 번째 강의는 일리노이 주립대에서 중국 경영자 리더십 프로그램을 이수하고 있는 베이항(Beihang) 대학교와 저장(Zheijang) 대학교의 학부생들을 위한 여름학기 집중 코스였고, 두번째 강의는 디지털 정부와 스마트시티를 공부하고 있는 일리노이 주립대 문헌정보학 대학원생들을 위한 대학원 코스였습니다. 우리는 .. 더보기

티스토리툴바