본문 바로가기
기계지능 및 로봇공학 다기관 지원 연구단

Machine Intelligence and Robotics Multi-Sponsored Research and Education Platform;
the leader of Industries 4.0, who develops Artificial Intelligence.

연구실소개

Reinforcement learning, Adaptive learning, Distributed learning 글보기
Reinforcement learning, Adaptive learning, Distributed learning
작성자 KAIST교수 정 송 게시일 2017.08.14 11:11 조회수 39

■ 연구책임자: KAIST 전기및전자공학과 교수 정송
■ 전화: 042-350-5473
■ 이메일: songchong@kaist.edu
■ 연구분야: Reinforcement learning, Adaptive learning, Distributed learning

■ 연구목표: 지능형 AI는 자주 연속 의사 결정 과정을 마주하며(예 – 도로 경로 선택 문제), 이러한 연속 의사 결정 과정은 주로 강화 학습을 통해 연구되고 있다. 하지만 강화 학습은 현재 학습이 오래 걸리며 높은 연산 리소스를 필요로한다는 단점이 존재하고, 실제 의사 결정 과정은 단순히 규격화된 시뮬레이터나 데이터셋에서 이루어지는 것이 아니라, 다양한 유형의 멀티 모달 데이터가 규격화 되지 않은 형태로 주어졌을 때도 이루어져야한다. 본 연구의 목표는 실제적인 멀티 모달 환경 연속 의사 결정 문제를 해결하는 강화 학습 기법을 개발하는데에 있다.

 

■ 연구내용: 연구는 크게 두 부분에서 진행되며 연차가 진행됨에 따라 최종 목표인 분산 멀티모달 적응형 강화 학습 기법으로 합쳐지게 될 것이다.


 첫 번째 부분은 멀티 모달 적응형 강화학습 기법을 개발하는 것으로, 기존 멀티 모달 데이터가 가질 수 있는 Missing modality문제나 asynchronous update문제를 고려하여 POMDP형태로 모델링하고 이에 적합한 강화 학습 기법이나 모델을 제시하는 것이 그 목표다. 기존 멀티 모달 학습 문제와는 다르게 각 결정이 독립적이지 않고, 이전 state가 고려되어야 하기 때문에 문제 복잡도가 더 높다. 현재 기존 멀티 모달 학습 연구를 멀티 모달 강화 학습 연구에 맞게 재 해석하고, 더 나아가 이에 맞는 value funciton approximator를 제시하는 연구를 진행중이다.
 두 번째 부분은 분산 강화 학습 기법을 개발하는 것이다. 현재 AI/기계학습 기술들은 사용자 중심으로 상품화 되고 있으며, 이에 따라 분산화된 학습 알고리즘이 필수적이다. 데이터 수집 관점에서는 다양한 센서(IoT, Mobile, Smart Car, etc.)가 사용자 환경에 존재함에 따라 사용자는 분산화된 다양한 정보와 상호작용하며 의사결정 하여야하기 때문에, 분산화된 데이터를 다루는 학습 알고리즘이 필요하며, 적용관점에서는 AI agent로 기대되고 있는 스마트폰이 컴퓨팅 리소스를 충분히 가지고 있지 않기 때문에 클라우드나 타 smart기기와의 분산화된 학습이 필수적이다.
 이 두 방향의 연구가 합쳐져 분산 멀티 모달 강화 학습을 통해 사용자 환경에 적응하며 실시간으로 학습 가능한 강화 학습 기법을 제시하는 것이 최종 결과가 될 것이다.

 

■ 연구실 이름: Network Systems Laboratory
■ 연구실 홈페이지주소: http://netsys.kaist.ac.kr