본문 바로가기

정형 데이터

비정형도 자동화? AI와 만난 RPA '하이퍼오토메이션' 글로벌 IT시장조사 기관인 가트너는 2019년 선정한 10대 전략 기술 동향 중 하나로 '하이퍼오토메이션(Hyperautomation)'을 꼽았습니다. 이는 '자동화할 수 있는 모든 걸 자동화하는 기술'이죠. 2020년 RPA(Robotic Process Automation)는 많은 기업의 업무 프로세스를 자동화했습니다. 코로나19 사태 장기화로 늘어난 비대면 업무는 단순 반복 업무에 대한 자동화 수요 증대로 이어졌습니다. 그 원인은 전통적으로 데이터를 수집해 입력하는 재무, 회계, 제조, 구매, 고객 관리 등 업무 분야에서 AI(인공지능)에 대한 기대가 커짐에 따라서 RPA 도입을 시작했기 때문입니다. l RPA (출처: https://www.uipath.com/automation/ai-and-rpa).. 더보기
딥러닝, 데이터로 세상을 파악하다(1) 최근 몇 년 전부터 지금에 이르기까지 산업계에서 가장 화두가 되는 단어 중 하나는 바로 AI(Artificial Intelligence), 즉 인공지능입니다. ‘인공지능’이라 함은 넓은 의미에서는 인간의 합리적인 사고나 행동을 모방해 자동화한 프로세스를 일컫는대요. 간단하게 생각하면 숫자와 연산기호 버튼만 눌러서 자동으로 값을 계산해 주는 계산기도 일종의 인공지능이라고 볼 수 있겠습니다. 인간이 매번 필요할 때마다 일일이 셈을 계산하지 않고도 자동으로 계산을 도와주니까요. 하지만 이런 자동화 프로그램은 예전부터 있었으며, ‘인공지능’이라고 거창하게 부르지도 않았습니다. 최근에 학계와 산업계에 불고 있는 AI 열풍은 이렇게 단순히 ‘규칙의 자동화’를 지칭하는 넓은 의미의 인공지능이 아닐 겁니다. AI, M.. 더보기
인공지능과 빅데이터를 위한 정보 분석 아키텍처 2편, LDW 지난 시간에는 인공지능과 빅데이터를 위한 정보 분석 아키텍처 로지컬 데이터 웨어하우스(Logical Data Warehouse)의 정의와 구성 요소에 대해 알아봤습니다. 이번 시간에는 로지컬 데이터 웨어하우스의 적용 사례와 동향에 대해 알아보겠습니다. ● 인공지능과 빅데이터를 위한 정보 분석 아키텍처: http://blog.lgcns.com/1775 LDW(Logical Data Warehouse)의 적용 사례 LDW라는 개념은 2~3년 전에 제시되었고, 다양한 활용 사례들이 있는데요. 그중에서 빅데이터 기술을 활용해 저렴한 저장 공간을 활용한 사례와 분산 병렬 처리를 이용한 배치 속도 개선 사례를 함께 알아보겠습니다. ● 데이터 아카이빙 영역으로 빅데이터 플랫폼 활용생산 공정 과정에서 발생하는 대부분 .. 더보기
인공지능과 빅데이터를 위한 정보 분석 아키텍처 1편, LDW IDC는 2020년, 전 세계 데이터가 44 제타바이트에 이를 것으로 전망했습니다. 모바일, 소셜 미디어, IoT 등 디지털 기술의 발달로 데이터는 폭증하고 있는데요. 발생 데이터 80% 이상이 비정형 데이터로 그 종류도 다양합니다. 바야흐로 데이터의 빅뱅, 빅데이터 시대라 할 수 있습니다. 하지만 기존 정보 분석 환경은 정형 데이터를 기본으로 하고 있어, 다양하고 방대한 양의 데이터 처리가 어려운 실정입니다. 오픈소스의 발달로 빅데이터 처리가 가능해진 하둡(Hadoop)의 등장에 따라 저렴한 비용으로 대량의 데이터를 저장할 수 있게 되었고, 분산 병렬 처리를 지원하여 빅데이터 처리와 분석이 가능하게 되었습니다. 기업들은 이미 구축해 각종 분석에 활용하고 있는 정형 데이터 중심의 데이터 웨어하우스(Dat.. 더보기
빅데이터로 선거 결과도 예측할 수 있다! 20년 전, 세계 시가총액 1위와 2위 기업은 코카콜라와 GE였습니다. 그 당시에도 IT 기업 열풍이 전 세계를 강타하고 있었지만, 마이크로소프트와 인텔 그리고 IBM 정도만이 IT 기업으로서 시가총액 상위에 이름을 올리고 있었고, 대부분 상위 기업은 당시 잘 나가는 제조업 기반 기업이었습니다. 20년이 지난 현재, 시가총액 1위와 2위 기업은 구글과 애플이 차지하고 있습니다. 애플은 20년 만에 시가총액이 약 220배가량 늘었으며, 구글은 그 당시 상장하기 전이라 순위도 없었습니다. 그 밖에 마이크로소프트, 아마존, 페이스북 등의 IT 기업이 시가총액 상위 그룹을 형성하고 있습니다. 불과 20년 만에 세계 경제를 이끌어가는 업종의 패러다임이 바뀌었다고 할 수 있습니다. l 구글에서 제공하는 빅데이터 플.. 더보기
무한 경쟁에서 살아남기 위한 열쇠, 빅데이터 최근 세계적으로 빅데이터에 대한 관심이 높아지면서 많은 기업들이 빅데이터를 이용한 새로운 비즈니스 모델 창출에 집중하고 있습니다. 빅데이터는 2011년을 기점으로 국가의 미래를 결정하는 매우 중요한 개념으로 인식되어, 주요 선진국에서는 빅데이터가 창출하는 경제적 파급효과를 앞다퉈 발표하며 이와 관련한 R&D(Research and Development)에 많은 금액을 투자하였습니다. 많은 전문가들이 빅데이터의 정의를 다양하게 내놓고 있지만, 공통적으로 이야기하는 키워드는 대용량 데이터베이스, 정형 및 비정형 데이터의 활용, 그리고 이를 이용한 새로운 가치 추출 정도로 요약해 볼 수 있습니다. 즉, 빅데이터란 대용량의 정형 및 비정형 데이터 속에서 지금까지 알지 못했던 규칙이나 패턴들을 찾아내어 새로운 가.. 더보기