본문 바로가기
기계지능 및 로봇공학 다기관 지원 연구단

Machine Intelligence and Robotics Multi-Sponsored Research and Education Platform;
the leader of Industries 4.0, who develops Artificial Intelligence.

연구실소개

Semantic segmentation, Visual object tracking, Vision and language 글보기
Semantic segmentation, Visual object tracking, Vision and language
작성자 POSTECH 교수한보형 게시일 2017.06.05 14:55 조회수 97

■ 연구책임자: 포항공과대학교 컴퓨터공학과 교수 한보형

■ 이메일: bhhan@postech.ac.kr

■ 연구분야: Semantic segmentation, Visual object tracking, Vision and language

■ 연구목표: 저희 연구실은 딥 러닝 기반의 컴퓨터 비전 및 머신 러닝 알고리즘 연구를 진행하며, 특히 semantic segmentation, visual object tracking과 같은 컴퓨터 비전 문제 및 자연어 처리 분야와 연관 있는 visual question answering, image captioning을 위한 신경망 모델을 연구하고 있습니다. 또한, 본 과제에서는 자율 지능 동반자와 지속적인 상호작용을 위한 동영상 기반 대화형 visual question answering 알고리즘 개발을 목표로 합니다.

 

■ 연구내용: 지속적으로 모델 개선이 가능한 동영상 기반 대화형 visual question answering 알고리즘 개발을 위한 연구 내용은 다음과 같습니다.

1. 동영상 특징 학습법 연구

- 정지영상과 구분되는 동영상 내 물체의 동작 정보 추출 인공신경망 구조 개발

- 선후관계 및 인과관계를 추론할 수 있는 동영상 특징 추출 알고리즘 개발

2. 동영상 기반 visual question answering 알고리즘 연구

- 효과적인 모델 분석을 위한 합성 데이터셋 구축

- 언어 정보로부터 필요한 시각 정보를 효과적으로 추출하는 알고리즘 연구

3. 피드백 기반 지속적인 모델 개선 프레임워크 연구

- 대화형 visual question answering 알고리즘 연구

- 개별 사용자 정보에 기반한 맞춤형 신경망 알고리즘 연구

 

또한, 연구실에서 최근 몇 년 동안 진행한 연구로 다음의 내용이 있습니다.

1. Semantic segmentation by deep learning

- Weakly supervised semantic segmentation

- Semi-supervised semantic segmentation

2. Visual object tracking

- Segmentation 기반 tracking 알고리즘 개발

- Deep neural networks 기반의 효과적인 온라인 학습 방법 연구

- Quadruplet convolutional neural network 기반 multi-object tracking

3. Vision and language

- 이미지 기반 visual question answering 및 image captioning

 

■ 연구실 이름: 포항공과대학교 컴퓨터 비전 연구실 (CV Lab.)

■ 연구실 홈페이지주소: http://cvlab.postech.ac.kr