본문 바로가기 사이드메뉴 바로가기 주메뉴 바로가기

주메뉴영역

주메뉴영역

혁신으로 세상을 바꾸는 융복합 대학, DIGIST
Innovative University Changing the World through Convergence
이 페이지를 SNS로 퍼가기

Research

국내 자율주행 시장에 희소식, 전 세계 자율주행 정보를 국내 환경에 적용할 수 있는 딥러닝 기술 개발

  • 조회. 202
  • 등록일. 2022.06.21
  • 작성자. 대외협력팀

- DGIST 임성훈 교수팀, 전 세계 각국의 주행 데이터를 하나의 신경망 모델에 효과적으로 학습시킬 수 있는 딥러닝 기술 개발

  • 데이터가 부족한 국내 자율주행 시장에 획기적 기여 예상돼

 

 DGIST(총장 국양) 전기전자컴퓨터공학과 임성훈 교수팀은 다양한 환경 데이터를 인공지능 모델 학습에 효과적으로 활용할 수 있는 환경 적응 신경망 기술 개발에 성공하였다. 해당 기술로 향후 세계 각국 데이터를 활용하여 국내 환경에 맞는 인공지능 모델을 학습할 수 있어 국내 자율주행 기술 개발에 획기적인 기여가 기대된다.

 최근 인공지능 기술이 고도화되면서 일반화된 딥러닝 모델 학습에 풍부한 학습데이터를 요구하고 있다. 전 세계적으로 341만장 이상의 자율주행 데이터들이 공개되어 있지만, 해외와 국내의 주행환경과의 차이로 인해 기존에는 각각의 데이터를 바탕으로 특정한 하나의 환경에서 원활하게 동작하는 모델을 여러 개 학습하고, 학습된 여러 개의 모델을 하나로 통합하는 데에 초점이 맞춰져 왔었다. 이는 복잡한 학습과정을 거칠 뿐만 아니라, 모델을 통합할 때 각 모델이 잘못 예측한 결과까지 같이 학습되기 때문에 성능저하가 발생할 수 있고, 또한 이미 학습된 모델들을 다시 이용하는 방식을 사용하기 때문에 모델의 최종 성능이 제한될 수 있다는 단점이 있다.

 이에 임성훈 교수 연구팀은 여러 모델을 학습할 필요 없이 여러 데이터의 집합체(이하 도메인’)를 한 모델에 학습하는 기법을 설계하였는데, 이를 이용해 각 도메인으로 변환된 다량의 이미지를 얻어 모델을 학습하게 하였다. 또한 같은 물체임에도 외관적인 특징이 다를 수 있다는 문제를 해결하기 위해 원본 이미지와 변환된 이미지 간의 연관성을 이용해 각 물체의 알맞은 정보를 찾고 하나의 모델에 학습시키는 기법을 개발하는데 성공했다.

 연구팀이 개발한 다중 타깃 도메인 변환 신경망은 한 모델로도 여러 도메인의 이미지 변환이 자유자재로 가능한 장점이 있다. 또한 도메인 사이의 유사정보에 대한 오류를 발생시키는 클래스 모호성(Class Ambiguity)을 해결함으로써 학습과정을 대폭 줄였고, 기존에 모델을 통합하면서 나타났던 성능저하 문제도 해결하여 향후 AI 및 자율주행 분야에서 광범위한 활용이 기대된다.

 DGIST 전기전자컴퓨터공학과 임성훈 교수는 자율주행 시장이 점점 커지고 있는 현 상황에서 다양한 환경 데이터를 활용 가능하게 하는 환경 적응 기술은 매우 가치가 크다라며 이번 연구는 환경 적응 분야에서 기존의 패러다임을 크게 전환한 연구이며, 학습데이터 부족 문제를 겪는 국내 자율주행 기술 발전에 긍정적인 영향을 줄 것으로 기대된다.”고 말했다.

 한편, 이번 연구 결과는 관련 분야 최우수 국제학술지 ‘IEEE Conference on Computer Vision and Pattern Recognition’6월 게재되었다.

 

 

· · ·

 

연구결과개요

ADAS: A Direct Adaptation Strategy for Multi-Target Domain Adaptive Semantic Segmentation

Seung Hun Lee, Won hyeok Choi, Changjae Kim, Minwoo Choi, Sunghoon Im

(IEEE Conference on Computer Vision and Pattern Recognition,

Online published on 14 March, 2022)

딥러닝의 많은 발전에도 도메인의 차이로 발생하는 성능 저하가 여전히 문제가 되고 있다. 이 문제를 해결하기 위해 대부분의 연구는 하나의 타깃 도메인에만 적응할 수 있는 방법에 주로 초점을 맞춰왔다. 하지만 기존 방법은 메모리 효율, 확장성 등의 문제가 있어 실제로 적용하기가 매우 어렵다. 이런 문제를 해결하기 위해 다중 도메인에 적용하는 방식이 최근에 연구되고 있지만, 여러 모델을 통합하는 과정에서 발생하는 성능저하로 성능이 제한된다.

본 연구에서는 여러 모델을 통합할 필요 없이 여러 도메인의 정보를 한 모델에 효율적으로 학습할 수 있는 방식을 제안한다. 각 도메인의 통계치를 이용하여 여러 도메인 간 이미지 변환이 가능한 다중 타깃 도메인 변환 신경망을 설계하여 모델이 각 도메인의 정보를 학습할 수 있도록 하였다. 또한 원본 이미지와 변환된 이미지 간의 연관성을 이용해 이미지 내 각 물체의 알맞은 정보를 학습할 수 있는 방식을 고안하여 3개 이상의 주행 데이터셋으로 도메인 적응에 적용하여 기존보다 높은 성능을 보였다.

 

 

· · ·

 

연구결과문답

Q. 이번 성과 무엇이 다른가?

기존의 연구들에서는 미리 학습한 여러 모델로부터 특정 환경에 대한 지식들을 통합하여 다양한 환경에 적응한 모델을 얻으려 했다. 하지만, 모델을 통합하는 과정이 까다로울 뿐만 아니라 잘못된 예측결과도 함께 학습되어 성능저하까지 발생하였다. 이번 연구는 이미 학습된 모델의 정보를 간접적으로 이용하지 않고, 각 도메인의 정보를 직접적으로 학습시킬 수 있는 방법을 제안하여 학습효율을 대폭 늘림과 동시에, 여러 데이터에 적용하여 실험적으로도 기존보다 높은 성능을 보였다.

Q. 어디에 쓸 수 있나?

여러 환경에 적응하는 모델을 설계하는 대신, 기존의 방법들로 각각 하나의 특정한 환경에서 잘 동작하는 모델을 여러 개 사용할 수도 있겠지만, 실제로 모델을 적용할 때 임베디드 시스템의 특성상 메모리 한계 문제로 현실적으로 적용하기가 매우 어렵다. 이런 메모리 효율 문제를 해결하여 자율주행, CCTV 등과 같이 다양하게 변화하는 환경에서 사용하기 위한 목적으로 딥러닝 모델을 학습할 수 있다.

Q. 실용화까지 필요한 시간은?

자율주행과 같이 복잡한 인지 능력을 필요로 하는 문제에서는 아직 충분한 성능이 나오지 못했지만, CCTV를 이용한 불법차량 번호판 검출, 얼굴인식 등에서는 실용화가 가능할 것이라 생각한다.

Q. 실용화까지 필요한 과제는?

본 연구에서 고안된 방식은 각 도메인의 정보를 직접적으로 학습하는 방식이기 때문에 네트워크의 캐퍼시티(capacity)가 중요하다. 현실에서 볼 수 있는 모든 환경들에 대해 강인하게 동작하기 위해서는 우선 네트워크에 학습이 모두 되어야 하는데 이번 연구보다 훨씬 더 큰 스케일의 실험들이 많이 필요할 것이다.

Q. 연구를 시작한 계기는?

도메인 적응 문제에서 기존의 대부분의 문제들은 하나의 환경에서만 잘 동작하도록 모델을 설계하였다. 하지만 메모리 문제, 확장성 문제 등으로 실용적이지 못함을 지적하면서 최근 다양한 환경에서 잘 동작하는 하나의 모델을 설계하는 것을 목적으로 연구가 많이 진행되고 있다. 하지만, 이조차 기존의 연구를 토대로 하나의 환경에서 잘 동작하는 모델들로부터 새로운 모델로 통합시키는 방식을 이용하며, 이는 각 모델의 잘못된 예측 결과도 학습될 수 있기 때문에 성능의 한계가 있을 것이라 생각하였다. 이 생각을 바탕으로 각 도메인의 정보를 직접 학습할 수 있도록 여러 가설을 세우면서 연구를 시작하게 되었다.

Q. 어떤 의미가 있는가?

기존에 비해 학습과정이 크게 줄어 학습효율이 대폭 상승함과 동시에 모델로부터 간접적으로 학습하지 않아 성능저하의 우려가 없게 되었다.

Q. 꼭 이루고 싶은 목표는?

좀 더 연구를 진행해서 실용적인 문제들을 해결할 것이다.

 

· · ·

 

그림설명

[그림 1] 고안한 신경망 구조


(그림설명) 인코더(E)에서 나온 이미지 정보의 통계치를 도메인 스타일 전환기(DST)를 이용하여 스타일 인코더(SE)에서 추출한 소스 영상의 스타일을 타겟 스타일로 전환한 후, 소스 영상의 콘텐트 정보와 전환한 스타일 정보를 이용하여 생성기 (G)가 도메인이 변환된 이미지를 생성하는 구조이다.
 

[그림 2] 각 도메인의 이미지를 다른 도메인의 이미지로 변환한 결과

(그림설명) Source 도메인의 이미지의 형태를 유지하며 Target 도메인의 이미지의 스타일을 반영하여 이미지를 생성하고 있다.

 

[그림 3] 클래스 모호성을 해결하기 위한 모듈 구조

(그림설명) 타겟 이미지와, 도메인을 전환한 이미지에서 각 물체의 영역을 추출하여 특징 공간 (feature space) 상에서의 거리를 토대로 연관성이 부족한 부분들을 걸러내는 구조이다.

 

 

 

 

콘텐츠 담당 담당부서  :   대외협력팀 ㅣ 053-785-1135