본문 바로가기

지식 증류

족집게 데이터가 '전교 1등' AI 만든다! 딥러닝 기반 알고리즘들은 충분한 양의 데이터로 학습한다면 좋은 성능을 낸다고 알려져 있습니다. 딥러닝 알고리즘은 이미지 분류, 객체 탐지, 영상 분할 등 여러 가지 분야에서 이미 사람보다 더욱 정확하고 빠르게 동작하고 있습니다. 이러한 딥러닝 알고리즘을 연구하고 개발하는 과정에서 딥러닝 알고리즘을 효과적으로 학습시키는 방법론에 관해서 연구가 많이 진행되었습니다. 더 많은 데이터로 학습한 딥러닝 모델에서 전달받은 정보를 활용해 학습하는 기법인 지식 증류(Knowledge Distillation). 다른 데이터들로 공부한 것을 토대로 효과적으로 학습하는 전이 학습(Transfer Learning). 이 외에도 여러 가지 방면의 연구가 많이 진행되었지만, 오늘 중점적으로 다룰 방법론은 능동 학습(Active .. 더보기
더 가볍게! '인공지능 다이어트'가 필요한 이유 오늘날 신경망을 깊게 쌓아 올린 딥러닝 기반 알고리즘들은 다양한 분야에서 미증유의 퍼포먼스를 보여주고 있습니다. 심층 신경망 연구는 하드웨어의 눈부신 발전과 함께 두각을 나타내기 시작했으며, 더 좋은 성능의 알고리즘을 만들어내기 위해 각 기업 및 학계의 연구소에서는 더 강력한 최신의 GPU와 TPU를 사용한 연구를 진행하고 있습니다. 이렇게 강력한 하드웨어와 전력을 쏟아부어야 만들 수 있고 사용할 수 있는 딥러닝 알고리즘. 우리 손엔 자그마한 스마트폰 정도가 쥐어져 있는 것 같은데, 도대체 어떻게 해야 연구소에서 우리 삶 속으로 꺼내올 수 있을까요? 이 포스트를 통해 인공지능(AI) 경량화의 필요성과 그 흐름에 대해 짚어보는 시간을 갖고자 합니다. 경량화의 필요성 심층 신경망의 성능을 끌어올리기 위한 가.. 더보기