본문 바로가기

학습 데이터

AI 보안 요원이 랜섬웨어 공격 잡아낸다(下) 무차별 감염을 시도하는 랜섬웨어(Ransomware) 등에 대비해 악성코드의 공통 패턴과 공격자의 악성 행위를 학습해, 여러 가지 종류의 많은 로그 데이터로부터 정확하고 신속하게 악성 행위를 탐지할 수 있는 인공지능(AI) 기술이 주목받고 있으며, 보안 모니터링 업무에도 활용되는 사례가 증가하고 있습니다. 지난 원고에 이어 이번에는 내부 확산 공격을 ‘보안 솔루션에서의 기계학습 활용, 성공적인 기계학습 도입을 위한 고려 사항’을 통해 알아보겠습니다. ● AI 보안 요원이 랜섬웨어 공격 잡아낸다(上) 보안 솔루션에서의 기계학습 활용 최근 많은 빅데이터 기반의 보안 분석 솔루션에서는 공격 단계별로 악성 행위를 탐지하기 위해 AI 기반의 분석 기능을 탑재하고 있습니다. 이와 같은 솔루션은 내부 네트워크 내에 .. 더보기
어려운 수요 파악, 머신러닝으로 예측할 수 있다? 기업 측면에서 수요의 예측은 생산, 자재 및 물류 등의 계획과 관리 측면에서 중요합니다. 수요를 잘 예측하면 창고에 제품별 재고 비축을 하는 것이 효율적인지 계획할 수 있고, 생산지에서 창고로 제품을 이동하는 물류에 대한 계획도 가능할 수 있습니다. 해당 제품을 생산 할 때 필요한 원재료의 구매부터 비축에 대한 계획도 가능합니다. 이렇게 생산된 제품에 대한 선적 계획도 가능하게 되므로 수요의 예측은 기업의 SCM(Supply Chain Management, 공급망 관리)에서 가장 중요한 부분을 차지할 것입니다. 수요 예측은 특히 과거의 수요 트렌드(Trend)를 학습해 미래 수요를 예측하는 시계열 모형이 많이 사용되었던 분야입니다. 전통적인 시계열 모형으로는 예측하고자 하는 값이 과거 시점에 영향을 받는.. 더보기
AI는 어떻게 '사기 거래'를 잡아낼까? 지난 글에서는 인공지능이 이상 탐지 분야에 어떤 도움을 줄 수 있는지를 알아봤습니다. 그렇다면 구체적으로 인공지능을 이상 탐지에 적용하기 위한 절차와 방법은 어떻게 될까요? ● 도난 카드로 100만 원 플렉스? ‘수상한 결제’ AI가 잡는다! 이번에는 이상거래 탐지를 위한 인공지능의 학습 및 적발 과정을 알아보겠습니다. 아래 그림을 보면 인공지능이 과거 거래의 사기 패턴을 학습하는 ‘학습 단계’와 학습된 인공지능 모델로 새로 발생하는 거래의 사기 여부를 탐지하는 ‘탐지 단계’로 나눌 수 있습니다. 각각의 세부 단계를 알아볼까요? l 인공지능을 이용한 사기 거래 학습 및 탐지 과정 먼저, 학습 단계입니다. 학습 단계는 변수를 정의(생성)하고 준비한 학습 데이터로 인공지능 모델을 학습해 모델의 정확도를 평가.. 더보기
AI가 스마트하게 지구를 지키는 방법은? 안녕하세요. 코지입니다. 이전 연재를 통해 머신러닝의 개념에 대해 알아봤습니다. 머신러닝이란 우리가 수많은 경험과 연습을 통해 배우는 것처럼, 컴퓨터를 수많은 데이터로 학습시키는 것이었죠. 그렇다면 머신러닝은 과연 우리 삶에서 어떻게 활용되고 있을까요? ‘환경 보호’와 관련된 주제로 몇 가지 활용 사례를 알아보겠습니다. ● 삼림 파괴를 감시하는 AI스타트업 기업인 ‘오비탈 인사이트’에서는 삼림의 불법 벌목 방지를 위해서 인공위성으로 찍은 삼림 지역 사진을 통해 불법 벌목 여부를 판독하는 기술을 개발했습니다. AI가 수백만 장의 위성사진 데이터를 분석해 새로운 도로 건설이나 삼림 벌채 등의 징후를 파악해 가장 높은 위험에 처한 숲을 예측하는 것입니다. l 출처: Rain Forest Connection 또.. 더보기
족집게 데이터가 '전교 1등' AI 만든다! 딥러닝 기반 알고리즘들은 충분한 양의 데이터로 학습한다면 좋은 성능을 낸다고 알려져 있습니다. 딥러닝 알고리즘은 이미지 분류, 객체 탐지, 영상 분할 등 여러 가지 분야에서 이미 사람보다 더욱 정확하고 빠르게 동작하고 있습니다. 이러한 딥러닝 알고리즘을 연구하고 개발하는 과정에서 딥러닝 알고리즘을 효과적으로 학습시키는 방법론에 관해서 연구가 많이 진행되었습니다. 더 많은 데이터로 학습한 딥러닝 모델에서 전달받은 정보를 활용해 학습하는 기법인 지식 증류(Knowledge Distillation). 다른 데이터들로 공부한 것을 토대로 효과적으로 학습하는 전이 학습(Transfer Learning). 이 외에도 여러 가지 방면의 연구가 많이 진행되었지만, 오늘 중점적으로 다룰 방법론은 능동 학습(Active .. 더보기
AI는 '스스로 학습'할 수 있을까? 수많은 학습 데이터를 주기만 한다면, 딥러닝은 문제를 잘 풀 수 있다고 알려져 있습니다. 예를 들어 1,000개의 카테고리에 대해 130만 장의 분류된 이미지가 있는 ImageNet 태스크에 대해 딥러닝 알고리즘은 Top 5 기준 98% 이상의 정확도를 달성하며 사람의 판별 정확도를 뛰어넘었습니다. 하지만 태스크에 맞는 데이터를 수집하는 것은 비쌉니다. 세상에는 이미지가 넘쳐나지만, 각각의 이미지가 어떤 의미를 가지는지 사람이 일일이 분류해 라벨을 만드는 것은 오래 걸리고 힘이 듭니다. 지도 학습, 비지도 학습, 그리고 자기 지도 학습 데이터와 라벨이 주어질 때 라벨을 이용해 태스크를 수행하는 방법을 학습하는 것을 지도 학습(Supervised learning)이라고 부릅니다. 이미지 분류, 양불판정, .. 더보기
LG CNS, AI 기반 언어지능 연구에 박차를 가한다! 국내 대표 IT 기업인 LG CNS가 AI 언어지능 연구를 위한 질의응답 학습 데이터셋을 무료 공개하고 학회 저술 활동도 활발히 진행하는 등 AI 기반의 언어지능 연구 활동을 활발히 진행하고 있습니다. LG CNS가 공개한 KorQuAD란? LG CNS가 사이트(https://korquad.github.io)를 통해 공개한 KorQuAD 데이터셋은 질의응답(MRC;Machine Reading Comprehension) 과제를 위한 한국어 표준 데이터로, 인공지능이 한국어 질문에 대한 답변을 하기 위해서 필요한 학습 데이터입니다. KorQuAD 데이터셋은 1,550개의 Wikipedia article에 대해 10,649 건의 하위 문단과 크라우드 소싱을 통해 제작한 63,952개의 질의응답 쌍으로 구성되어.. 더보기