본문 바로가기

하둡

인공지능과 빅데이터를 위한 정보 분석 아키텍처 2편, LDW 지난 시간에는 인공지능과 빅데이터를 위한 정보 분석 아키텍처 로지컬 데이터 웨어하우스(Logical Data Warehouse)의 정의와 구성 요소에 대해 알아봤습니다. 이번 시간에는 로지컬 데이터 웨어하우스의 적용 사례와 동향에 대해 알아보겠습니다. ● 인공지능과 빅데이터를 위한 정보 분석 아키텍처: http://blog.lgcns.com/1775 LDW(Logical Data Warehouse)의 적용 사례 LDW라는 개념은 2~3년 전에 제시되었고, 다양한 활용 사례들이 있는데요. 그중에서 빅데이터 기술을 활용해 저렴한 저장 공간을 활용한 사례와 분산 병렬 처리를 이용한 배치 속도 개선 사례를 함께 알아보겠습니다. ● 데이터 아카이빙 영역으로 빅데이터 플랫폼 활용생산 공정 과정에서 발생하는 대부분 .. 더보기
인공지능과 빅데이터를 위한 정보 분석 아키텍처 1편, LDW IDC는 2020년, 전 세계 데이터가 44 제타바이트에 이를 것으로 전망했습니다. 모바일, 소셜 미디어, IoT 등 디지털 기술의 발달로 데이터는 폭증하고 있는데요. 발생 데이터 80% 이상이 비정형 데이터로 그 종류도 다양합니다. 바야흐로 데이터의 빅뱅, 빅데이터 시대라 할 수 있습니다. 하지만 기존 정보 분석 환경은 정형 데이터를 기본으로 하고 있어, 다양하고 방대한 양의 데이터 처리가 어려운 실정입니다. 오픈소스의 발달로 빅데이터 처리가 가능해진 하둡(Hadoop)의 등장에 따라 저렴한 비용으로 대량의 데이터를 저장할 수 있게 되었고, 분산 병렬 처리를 지원하여 빅데이터 처리와 분석이 가능하게 되었습니다. 기업들은 이미 구축해 각종 분석에 활용하고 있는 정형 데이터 중심의 데이터 웨어하우스(Dat.. 더보기
빅데이터 처리를 위한 IT기술 빅데이터는 다양한 형태의 데이터가 매우 빠르게 쌓입니다. 빅데이터는 기존 데이터가 쌓이는 방식보다 훨씬 많은 양의 데이터가 쌓여, 그 크기가 엄청난데요. 그만큼 단순히 스프레드시트와 개인 PC로 데이터를 다루기는 한계가 있습니다. 그렇기 때문에, 그 범위를 넘어 거대해진 데이터를 효율적으로 처리하는 방법을 찾고 있습니다. 빅데이터 처리에 특별한 기술이 필요한 이유 빅데이터 처리를 위해서는 강력한 컴퓨팅 파워를 가지고 빠르게 데이터를 처리할 수 있는 하드웨어가 필요합니다. 이 문제를 해결하는 방법은 하드웨어를 훨씬 좋은 성능의 장비로 대체하는 Scale-up 방식과 여러 대의 하드웨어를 연결하여 병렬적으로 데이터를 처리하는 Scale-out 방식이 있습니다. Scale-up 방식은 비용 대비 효과가 작고,.. 더보기
하둡 기반 데이터 웨어하우스 모델링 데이터 웨어하우스(Data Warehouse)는 십 수년간 기업의 의사결정 및 분석을 위한 가장 강력한 엔터프라이즈 애플리케이션의 지위를 유지해 왔는데요. 데이터 웨어하우스를 지원하는 수많은 애플리케이션들도 함께 발전해 왔습니다. 여기에는 수많은 하드웨어와 소프트웨어 벤더들이 제공하는 전통적인 OLAP과 ETL 툴들, 데이터베이스와 서버를 통합한 데이터 웨어하우스 어플라이언스(DW Appliance)들과 인-메모리(In-Memory) 데이터베이스, 비주얼라이제이션(Visualization) 툴 등이 포함됩니다. 빅데이터와 함께 발전하고 있는 하둡 에코시스템에도 데이터 웨어하우스 구축을 위한 다양한 기술 세트가 포함되어 있습니다. 예를 들어, 아파치 하이브는 SQL을 이용하여 분산 스토리지 환경에 저장된 .. 더보기
빅데이터로 실시간 장애감지 및 분석까지! 지금까지 빅데이터에 대한 화두는 주로 데이터 분석으로 시장에 대한 새로운 혜안을 얻거나, 딥러닝(Deep Learning)을 통해 불가능해 보였던 인간의 고유한 영역을 구현하는 것에 집중되었는데요. 오늘은 조금 포커스를 바꾸어 기존에 있던 시스템의 안정성을 보완하는데 활용할 수 있는 빅데이터 기술에 대해 알아보려고 합니다. 금융, 통신, 유통 등 우리 주변 대부분의 서비스들은 인터넷 망을 통해 시간과 공간의 제약 없이 이용할 수 있는 시대가 되었습니다. 사용자들은 이제 언제 어디서든 서비스를 이용한다는 것에 익숙해졌고, 자연스레 서비스의 안정성은 당연한 것이 되었습니다. 이는 수 년간 문제없이 운영되던 서비스라도 찰나의 시스템 장애 때문에 신뢰를 잃을 수도 있다는 것을 의미합니다. 실제로 몇 년 전 한 .. 더보기
스마트시티, 데이터 분석과 함께 발전하다 스마트시티에 대해 최근 많이들 이야기 하고 있는데요. 우리의 도시를 디지털로 변환해 주는 디지털 생태계와 그 안에서 발생하는 정보를 전략적으로 관리하기 위해서는 무엇보다 먼저 데이터 인프라 구축을 고려해야 합니다. 오늘은 여러분께 스마트시티와 데이터에 대해서 이야기 해볼까 합니다. 지난 해 저는 스마트시티에 대해 두 그룹에서 강의하며 다시 한 번 스마트시티에 대해 생각해 볼 기회가 있었습니다. 첫 번째 강의는 일리노이 주립대에서 중국 경영자 리더십 프로그램을 이수하고 있는 베이항(Beihang) 대학교와 저장(Zheijang) 대학교의 학부생들을 위한 여름학기 집중 코스였고, 두번째 강의는 디지털 정부와 스마트시티를 공부하고 있는 일리노이 주립대 문헌정보학 대학원생들을 위한 대학원 코스였습니다. 우리는 .. 더보기
빅데이터 시대 DW의 미래, Hybrid DW 빅데이터 기술 『하둡(Hadoop)』에 대해 아시나요? 하둡은 페이스북, 트위터 같은 소셜 미디어나 음성과 동영상 및 기존에 분석하지 않고 버려지던 로그 데이터를 분석하는 데 유용한 기술입니다.하지만, 기업의 중요 데이터를 다루는 영역에는 하둡이 적합하지 않다는 오해를 받고 있는데요. 기업의 중요 데이터 영역은 지금까지 데이터베이스(Data Base, 이하 DB)가 주로 담당하고 있었습니다. 그래서 이와 같은 오해가 생긴 이유는 아마도 하둡은 단순 파일 처리 시스템이라는 인식과 DB가 처리하지 못했던 문서나 로그 같은 비정형 데이터 처리에 주로 많이 사용되었기 때문이 아닌가 생각됩니다. 하지만 하둡은 비정형 데이터 분석뿐만 아니라, 기업의 중요 데이터 분석에도 많이 사용되고 있는데요. 그 중 하나가 바로.. 더보기

티스토리툴바