데이터가 중요하다는 말은 어느새 당연하게 받아들여지고 있습니다. 기업이 내부적으로 보유한 데이터, 고객의 행동 및 거래 데이터, 날씨나 통계 정보 등의 외부 데이터까지 이제 우리는 데이터 속에 살고 있다고 해도 과언이 아닙니다. 단순히 데이터 하나하나에는 큰 의미가 없을 수 있지만 데이터는 모으고 활용하기에 따라 단순한 정보 이상의 힘을 발휘합니다. 이러한 데이터에서 가치를 찾기 위해 기업들은 '데이터 플랫폼'을 도입하기 시작했습니다. 데이터 플랫폼이란 데이터를 수집, 통합, 분석해 지식을 추출하고, 이를 기반으로 사업을 지원하는 IT환경을 의미합니다. 예를 들면, 기업이 가진 데이터들을 주제에 맞게 모으기 위한 데이터 웨어하우스, 효율적인 마케팅 활동을 지원하기 위한 DMP(Data Management..

오랜만에 오픈소스 업계에 초대형 기업이 나타났습니다. 주인공은 미국의 데이터 통합 플랫폼 스타트업인 데이터브릭스(Databricks)입니다. 데이터 분석 기술로 성장 중인 이 기업은 19억 달러(한화 약 2조 원) 규모의 투자를 유치하며 승승장구 중입니다. 기업가치 평가액은 무려 280억 달러(한화 약 31조 원). 올해 상장할 거란 소식이 더해지면서 금융계에서도 주목을 받고 있습니다. 데이터브릭스는 기술력 외에도 오픈소스 기업의 약점인 수익 창출 부분에서 새로운 방향을 제시했다는 평을 받습니다. 이번 글에서 오픈소스 기업 관점에서 데이터브릭스의 저력을 살펴보겠습니다. 빅데이터 분야는 대형 기업부터 작은 오픈소스 프로젝트까지 다양한 기술이 참여하는 생태계입니다. 그중 오픈소스 분야에서 두각을 보인 기술은..

지난해 가장 주목받은 테크 IPO 중 하나였던 스노우플레이크(Snowflake)는 ‘데이터 클라우드’라는 이름으로 자사의 비전을 내세우고 있습니다. 이번 콘텐츠에서는 데이터 산업에서 핫한 기업, 스노우플레이크의 비전과 서비스에 대해 자세히 알아보도록 하겠습니다. 스노우플레이크 서비스 소개 (출처: Snowflake YouTube 채널) 스노우플레이크가 상장 당시 공개했던 S-1의 설명에 의하면, 데이터 클라우드는 스노우플레이크의 고객, 파트너, 데이터 공급자들이 데이터 사일로(Data Silo) 문제를 극복하는 것은 물론, 안전하고 잘 관리할 수 있도록 한 방식입니다. 이는 데이터셋의 가치를 추출할 수 있도록 하는 생태계를 의미합니다. 이때 데이터 사일로란, 각 부서나 사업 단위, 브랜치별로 데이터를 별..

데이터 관리의 진화 단계 다른 산업들과 마찬가지로 2020년 데이터 산업에도 큰 변화가 나타났습니다. 지난해 코로나 팬데믹으로 기업들은 원격 근무라는 새로운 표준(new normal)에 빠르게 적응해야 했습니다. 기업 내 임직원들이 서로 다른 장소와 시스템에서 데이터에 액세스해야 함에 따라 클라우드가 절대적으로 필요하게 됐습니다. 이에 데이터 거버넌스와 보안이 최우선 순위로 부상하기 시작했고, 기업은 빠른 변화의 필요성을 체감하면서 데이터 관련 투자를 늘렸습니다. 또한 시스템을 업그레이드하며 보다 완벽한 데이터 스택을 만들고자 했습니다. 2021년에도 최신의 변화를 따라잡기 위해 데이터 인프라가 진화할 것으로 예상됩니다. 그 가운데, 데이터 웨어하우스(DW, Data Warehouse)와 데이터 레이크의..