KR102669061B1

KR102669061B1 - 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템

Info

Publication number: KR102669061B1
Application number: KR1020240025095A
Authority: KR
Inventors: 박승보; 박지영; 김유원; 박세희
Original assignee: 인하대학교 산학협력단; 주식회사 이노카
Priority date: 2020-12-30
Filing date: 2024-02-21
Publication date: 2024-05-29
Anticipated expiration: 2040-12-30
Also published as: KR20220097682A; KR20240049782A

Abstract

본 기술은 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 및 방법이 개시된다. 이러한 본 기술에 대한 구체적인 구현 예는 차량의 내부 및 외부에 설치된 소정 수의 카메라를 통해 수집된 운전자 모션 영상 및 차량 외부 영상에 대해 인공지능 기반으로 학습을 수행하고 학습 결과를 토대로 운전자 비인지 영역에 대한 차량과 객체 간의 충돌 가능성 및 객체 위험도를 도출함에 따라, 운전자 및 관심 객체 간의 충돌로 인한 사고를 미연에 방지할 수 있으며, 이에 자율 주행 차량에 대한 안전성 및 신뢰성을 더욱 향상시킬 수 있는 효과가 있다.

Description

인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템{SYSTEM FOR DETECTING VEHICLE OBJECT COLLISION RISK BASED ON ARITIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템에 관한 것으로서, 더욱 상세하게는 차량 내부 및 외부 각각에 설치된 카메라로부터 획득된 운전자 모션 영상 및 차량 외부 영상을 토대로 운전자 비인지 영역에 대해 차량과 관심 객체 간의 충돌 위험도를 도출함에 따라 운전자 비인지 영역에서 발생되는 교통 사고를 미연에 방지할 수 있도록 한 기술에 관한 것이다.

최근 과학과 차량 산업의 발달로 자율주행 차량의 스마트 센서(sensor)와 함께 센서시장의 관심사는 차량용 ADAS 센서(Advanced Driver Assistance System sensor)다.

첨단 운전자 지원 시스템(Advanced Driver Assistance System), 즉 ADAS는 차량용 센서와 카메라에서 감지한 외부환경 정보를 바탕으로 운전자로 하여금 적절한 조치를 취하거나 자율적으로 차량을 제어해 더욱 안전한 운전환경을 구축하는 시스템을 의미한다.

인식 기술은 주변을 인지하기 위해 카메라, 레이더(radar), 라이더(LiDAR; Light Detection and Ranging), 초음파 센서, GPS, 가속도계, 자이로스코프 등을 사용하게 된다. 최근에는 이종 센서 간의 데이터를 종합해 장애물의 위치 정보를 정확하게 인식하기 위한 센서 융합 기술이 개발되는 추세다.

시장조사기관 IHS에 따르면, 자율주행 차량은 2035년 1,180만 대로 증가하며, 2050년에는 대부분의 차량은 자율주행 차량으로 대체될 전망이다.

이때 ADAS의 인식 기술에 필요한 센서 중 초음파를 이용한 초음파 센서와 레이저를 이용한 라이더의 경우 차량 주변의 물체의 거리를 측정하여 운전자에게 차량 주변의 환경을 알려 준다.

그러나 이러한 초음파 센서 또는 라이더 센서의 경우 날씨 환경 등의 외부 환경에 따라 계측 오차가 발생되며, 이러한 계측 오차는 교통사고로 이어지는 한계에 도달하였다.

이에 본 출원인은 차량 내부 및 외부 각각에 설치된 카메라로부터 획득된 내부 영상 및 외부 영상을 토대로 차량과 관심 객체 간의 충돌 위험도를 도출하여 충돌 위험도에 따라 차량의 운전자 및 관심 객체에게 경고하는 방안을 제안하고자 한다.

따라서, 본 발명은 차량의 내부 및 외부에 설치된 소정 수의 카메라를 통해 수집된 차량의 외부 영상 및 내부 영상에 대해 인공지능 기반으로 학습 수행하고 학습 결과를 토대로 운전자 비인지 영역에 대한 차량과 객체 간의 충돌 위험도를 도출함에 따라, 운전자 및 차량 외부의 객체 간의 충돌로 인한 교통 사고를 미연에 방지할 수 있는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템을 제공하고자 함에 있다.

이에 본 발명은 자율 주행 차량에 대한 안정성 및 신뢰도를 근본적으로 향상시킬 수 있는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템을 제공하고자 함에 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 따른 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템은,

차량 내부에 설치된 카메라로부터 제공받은 차량의 운전자 모션 영상을 수집하는 운전자 모션 수집부;

차량의 외부에 설치된 카메라로부터 제공받은 차량 외부 영상을 수집하는 외부 영상 수집부;

다수의 운전자 모션 영상으로부터 획득된 각 운전자 시선 좌표를 생성한 다음 생성된 운전자 시선 좌표를 학습 데이터로 저장하고, 입력된 차량 외부 영상으로부터 획득된 다수의 객체 좌표를 생성하여 학습 데이터로 저장하여 학습 모델을 구축하는 충돌 위험도 도출부를 포함하고,

상기 충돌 위험도 도출부는,

입력된 운전자 모션 영상에 대해 기 구축된 학습 모델을 기반으로 학습 수행하여 운전자 시선 좌표에 의거한 운전자 인지 영역을 추정하고, 추정된 운전자 인지 영역을 제외한 운전자 비인지 영역에 대해 수집된 차량 외부 영상을 토대로 차량과 관심 객체 간의 충돌 위험도 및 관심 객체 위험도를 도출하도록 구비되는 것을 일 특징으로 한다.

바람직하게 상기 시스템은,

상기 관심 객체 위험도에 의거하여 운전자 및 관심 객체에게 경고를 생성하여 방송하는 경고 제공부를 포함하는 것을 일 특징으로 한다.

바람직하게 상기 충돌 위험도 도출부는,

수집된 다수의 운전자 모션 영상을 토대로 추출된 운전자 시선 좌표를 생성하고 생성된 운전자 시선 좌표에 의거하여 추출된 운전자 인지 영역을 학습 데이터로 생성하고, 수집된 다수의 외부 영상으로부터 감지된 다수의 객체 및 감지된 각 객체들의 좌표를 학습 데이터로 저장하여 학습 모델을 구축하는 모델 구축모듈;

입력된 운전자 모션 영상에 대해 구축된 모델 기반으로 학습 수행하여 운전자 시선 좌표에 따른 운전자 인지 영역을 추정하고 추정된 운전자 인지 영역을 제외한 나머지 운전자 비인지 영역에서의 차량 외부 영상으로 획득된 다수의 객체 좌표를 출력하는 학습 모듈;

현재 시점 t을 기준으로 기 정해진 소정 주기 이전의 t-1 시점 프레임의 다수의 객체 좌표와 t-1 시점을 기준으로 이전의 t-2 시점 프레임의 다수의 객체 좌표를 토대로 다수의 객체 중 충돌 가능성이 존재하는 관심 객체를 도출하는 관심 객체 추출모듈; 및

도출된 관심 객체와 운전자 간의 객체 위험도를 도출하고 도출된 관심 객체와의 객체 위험도에 따라 경고를 발생하고 발생된 경고를 경고 제공부로 전달하는 충돌 위험도 생성모듈을 포함할 수 있다.

바람직하게 상기 학습 모델은,

수집된 다수의 운전자 모션 영상으로부터 각 운전자 시선 좌표를 생성하여 저장하는 시야 검출 DB;

다수의 차량 외부 영상으로부터 획득된 각 차량 외부 영상의 다수의 객체 및 각 객체 좌표를 운전자 시선 좌표에 매칭시켜 저장하는 객체 검출 DB;

각 획득된 각 차량 외부 영상의 객체의 종류 및 크기 별 기 정해진 가중치를 획득된 객체와 매칭시켜 저장하는 객체 가중치 DB를 포함할 수 있다.

바람직하게 상기 시야 검출 DB는

현재 시점 t를 기준으로 가장 인접된 이전 시점 t에서의 운전자 시선 좌표 및 이전 시점 t를 기준으로 이전 시점 t-1의 운전자 시선 좌표를 저장하고,

상기 객체 검출 DB는,

*현재 시점 t를 기준으로 가장 인접된 이전 시점 t에서의 운전자 시선에 의거하여 감지된 다수의 객체들의 좌표 및 임의의 시점 t를 기준으로 이전 시점 t-1에서 운전자 시선에 의거하여 감지된 다수의 객체들의 좌표를 각 운전자 시선 좌표와 매핑시켜 저장하도록 구비될 수 있다.

바람직하게 상기 관심 객체 추출모듈은,

현재 시점 t에서 입력된 운전자 모션 영상에 대해 추정된 운전자 인지 영역을 제외한 나머지 운전자 비인지 영역을 도출하고,

상기 운전자 비인지 영역 내의 객체 검출 DB 내에 저장된 이전 시점 t에서 다수의 객체들의 좌표 및 이전 시점 t-1에서 다수의 객체들의 좌표의 차를 토대로 다수의 객체 중 충돌 가능성이 존재하는 관심 객체를 도출하도록 구비될 수 있다.

바람직하게 상기 충돌 위험도 생성모듈은,

현재 시점 t를 기준으로 t-1 시점의 프레임에서의 관심 객체들의 좌표 및 t-2 시점 프레임에서 관심 객체의 좌표를 토대로 관심 객체의 이동 거리 및 이동 속도로 충돌 예상 시간 별 관심 객체 충돌 가능성을 도출하는 충돌 위험도 도출기; 및

도출된 충돌 위험도와 관심 객체 가중치 DB의 관심 객체의 종류 및 크기 가중치로 관심 객체 위험도를 생성하는 관심객체 위험도 생성기를 포함하도록 구비될 수 있다.

본 발명의 다른 실시예의 양태에 의거한, 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 방법은,

차량 내부에 설치되는 카메라를 통해 수집된 다수의 내부 영상과 차량 외부에 설치되는 카메라를 통해 수집된 다수의 외부 영상을 수집하고 수집된 내부 영상에 대한 운전자 시선 좌표를 학습 데이터로 구축하고, 수집된 외부 영상으로부터 운전자 시선 별 다수의 객체 좌표를 학습 데이터로 구축하는 학습 모델 구축 단계;

입력된 내부 영상 및 외부 영상에 대해 구축된 모델 기반으로 학습 수행하여 운전자 시선에 따른 운전자 인지 영역을 도출하고 도출된 운전자 인지 영역으로부터 운전자 비인지 영역을 도출하며, 도출된 운전자 비인지 영역의 다수의 객체 좌표 중 관심 객체 좌표를 도출하는 학습 단계; 및

상기 도출된 관심 객체 좌표를 토대로 운전자 비인지 영역 내의 관심 객체와 차량 간의 충돌 위험도를 생성하고 생성된 충돌 위험도에 따른 경고를 출력하는 경고 단계를 포함하는 것을 일 특징으로 한다.

일 실시 예에 따르면, 차량의 내부 및 외부에 설치된 소정 수의 카메라를 통해 수집된 운전자 모션 영상 및 차량 외부 영상에 대해 인공지능 기반으로 학습 수행하고 학습 결과를 토대로 운전자 비인지 영역에 대한 차량과 객체 간의 충돌 가능성 및 객체 위험도를 도출함에 따라, 운전자 및 관심 객체 간의 충돌로 인한 사고를 미연에 방지할 수 있다.

이에 일 실시예는 자율 주행 차량에 대한 안전성 및 신뢰성을 더욱 향상시킬 수 있는 효과가 있다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예에 따른 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템의 구성도이다.
도 2는 일 실시예의 시스템의 충돌 위험도 도출부의 세부 구성도이다.
도 3은 일 실시예의 시스템의 모델 구축모듈의 세부 구성도이다.
도 4는 일 실시예의 충돌 위험도 생성모듈의 세부 구성도이다.
도 5는 다른 실시예의 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 과정을 보인 전체 흐름도이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 실시예의 설명에서 언급되는 용어들 가운데 차량은 본 발명의 일 실시예의 시스템 및 방법에 적용된 차량이고, 객체는 차량 주변에 보행 중인 사람 또는 일정한 장소에 머물고 있는 사람을 포함할 수 있고, 자전거, 킥보드 등을 이용하여 사람을 포함할 수 있으며, 자전거, 이동 중인 차량, 차량 주변에 고정된 구조물 등의 사물을 모두 포함하는 용어일 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 일 실시예의 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템의 구성도이고, 도 2는 도 1의 충돌 위험도 도출부의 세부 구성도이며, 도 3은 도 2의 학습 모델을 보인 도이고, 도 4는 도 2에 도시된 충돌 위험도 생성모듈의 세부 구성도이다.

도 1 내지 도 4를 참조하면, 일 실시예의 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템은, 차량의 내부 및 외부에 설치된 소정 수의 카메라를 통해 수집된 차량 외부 영상 및 운전자 모션 영상에 대해 인공지능 기반으로 학습 수행하고 학습 결과를 토대로 운전자 비인지 영역에 대한 차량과 충돌 가능성이 존재하는 관심 객체를 도출하도록 구비되고, 이에 시스템은, 운전자 모션 수집부(100), 외부 영상 수집부(200), 충돌 위험도 도출부(300), 및 경고 제공부(400)를 포함할 수 있다.

운전자 모션 수집부(100)는 차량 내부에 설치된 카메라로부터 제공받은 차량의 운전자 모션 영상을 수집하고, 외부 영상 수집부(200)는 차량의 외부에 설치된 카메라로부터 제공받은 차량 외부 영상을 수집하고, 수집된 운전자 모션 영상 및 차량 외부 영상은 충돌 위험도 도출부(300)로 전달된다.

충돌 위험도 도출부(300)는 수집된 다수의 운전자 모션 영상으로부터 운전자 시선을 도출하고 도출된 운전자 시선 좌표를 생성하여 저장하고, 수집된 다수의 차량 외부 영상으로부터 획득된 다수의 객체 별 각 객체 좌표를 생성하여 저장하여 학습 모델을 생성한다.

그리고 충돌 위험도 도출부(300)는 현재 시점 프레임의 운전자 모션 영상에 대해 구축된 학습 모델 기반으로 학습 수행하여 운전자 시선 좌표를 도출한 다음 운전자 인지 영역을 추정하고, 추정된 운전자 인지 영역을 제외한 운전자 비인지 영역 내의 다수의 객체 중 관심 객체와 차량 간의 충돌 위험도를 도출하는 구성을 갖춘다. 이에 충돌 위험도 도출부(300)는 도 2에 도시된 바와 같이 모델 구축모듈(310), 학습모듈(320), 관심객체 추출모듈(330), 및 충돌 위험도 생성모듈(340)을 포함한다.

즉, 모델 구축모듈(310)는 수집된 다수의 운전자 모션 영상을 토대로 운전자 시선 좌표를 생성하여 생성된 운전자 시선 좌표를 학습 데이터를 생성하고, 수집된 다수의 차량 외부 영상의 각 차량 외부 영상으로부터 감지된 다수의 객체 및 감지된 각 객체 좌표를 학습 데이터로 저장하여 학습 모델을 구축한다.

이에 모델 구축모듈(310)은 도 3에 도시된 바와 같이, 시야 검출 DB(311), 객체 검출 DB(312), 및 객체 가중치 DB(313) 중 적어도 하나를 포함할 수 있다.

시야 검출 DB(311)는 수집된 다수의 운전자 모션 영상으로부터 각 운전자 시선 좌표를 생성하여 저장한다. 일 례로 시야 검출 DB(311)는 소정 시간 주기로 수집된 소정 수의 프레임의 운전자 모션 영상으로부터 각 운전자 시선 좌표를 추출하여 저장한다.

객체 검출 DB(312)는 차량 외부 영상으로부터 획득된 각 차량 외부 영상의 다수의 객체 별 객체 좌표를 생성하여 운전자 시선 좌표와 매칭시켜 저장한다. 일 례로 객체 검출 DB(312)는 소정 시간 주기로 수집된 운전자 모션 영상에 의거하여 도출된 운전자 시선으로 감지된 다수의 객체 좌표를 각 운전자 시선 좌표와 매핑시켜 저장한다.

그리고, 객체 가중치 DB(313)은 차량 외부 영상의 다수의 객체의 크기 및 종류 별로 정해진 가중치를 획득된 다수의 객체와 매칭시켜 룩업 테이블 값으로 저장한다.

한편, 학습 모듈(320)은 입력된 현재 시점 t 프레임의 운전자 모션 영상 및 차량 외부 영상에 대해 구축된 학습 모델의 운전자 시선 좌표 및 다수의 객체 좌표를 기반으로 학습 수행하고, 학습 결과 입력된 운전자 모션 영상으로 운전자 시선 좌표에 의거하여 운전자 인지 영역을 추정한다. 그리고, 현재 시점 t에서 운전자 인지 영역은 관심 객체 추출모듈(330)로 전달된다.

관심 객체 추출모듈(330)은 현재 시점 t에서 학습 결과로 전달받은 운전자 시선 좌표를 기반으로 운전자 인지 영역을 생성한다. 여기서, 운전자 시선 좌표는 하기 표 1에 도시된 바와 같고, 이러한 운전자 시선 좌표를 이용한 운전자 인지 영역을 표 2에 도시된 바와 같다.

[표 1]

[표 2]

표 1 및 표 2을 참조하면, 10987 ms 동안 X축 10 및 Y축 12인 운전자 시선 좌표로부터 운전자 인지 영역은 오른쪽 사이드 미러, 왼쪽 사이드 미러, 룸 미러, 도로 중앙, 도로 좌측, 도로 우측 중 왼쪽 사이즈 미러, 도로 중앙, 도로 좌측으로 생성된다.

이에 관심 객체 추출모듈(320)은 운전자 인지 영역을 토대로 운전자 비인지 영역을 도출하며, 도출된 운전자 비인지 영역의 다수의 객체 좌표를 토대로 다수의 객체 중 충돌 위험이 존재하는 관심 객체를 도출하도록 구비된다.

일례로 표 2를 참조하면, 운전자 인지 영역을 제외한 나머지 영역을 운전자 비인지 영역은 오른쪽 사이드 미러, 룸 미러, 도로 우측으로 도출된다.

그리고 관심 객체 추출모듈(330)은 도출된 운전자 비인지 영역의 다수의 객체 좌표를 토대로 충돌 가능성이 존재하는 관심 객체를 도출한다. 일 례로, 운전자 비인지 영역의 t-1 시점 프레임의 관심 객체의 좌표와 t-2 시점 프레임의 관심 객체 좌표를 토대로 차량과 객체 간의 충돌 가능성이 존재하는 관심 객체가 도출된다.

운전자 비인지 영역에 존재하는 다수의 객체 중 충돌 가능성이 존재하는 관심 객체는 충돌 위험도 생성모듈(340)로 전달된다. 여기서, t-1 시점은 현재 시점 t을 기준으로 정해진 소정 주기 이전 시점이고, t-2 시점은 t-1 시점을 기준으로 정해진 소정 주기 이전 시점이다.

충돌 위험도 생성모듈(340)은 관심 객체에 대해 충돌 예사이 시간 대비 충돌 위험도를 생성하고 생성된 충돌 위험도, 관심 객체의 크기 및 종류에 의거하여 관심 객체 위험도를 도출하는 구성을 갖추며, 이에 도 4에 도시된 바와 같이, 충돌 위험도 도출기(341) 및 객체 위험도 연산기(342)를 포함할 수 있다.

충돌 위험도 도출기(341)는 운전자 비인지 영역의 t-1 시점 프레임의 객체 좌표와 t-2 시점 프레임의 객체 좌표의 차와 차량 좌표를 토대로 충돌 예상 시간 별 충돌 위험도를 도출할 수 있다.

차량과 충돌 예상 시간 및 충돌 가능성은 표 3에 도시된 바와 같다.

[표 3]

표 3을 참조하면, t-1 시점 프레임의 관심 객체 좌표와 t-2 시점 프레임의 관심 객체 좌표의 이동 방향 및 이동 거리를 기반으로 60초 후에 차량과 충돌 가능성이 4 단계로 도출됨을 알 수 있다.

그리고, 관심 객체 위험도 연산기(342)는 도출된 충돌 위험도와 관심 객체 가중치 DB의 관심 객체의 종류 및 크기 가중치로 관심 객체 위험도를 생성한다. 즉, 관심 객체 위험도는 충돌 위험도 단계와 관심 객체 가중치 DB의 관심 객체의 종류 가중치 및 크기 가중치의 곱으로 도출되며, 물체 크기 별 가중치는 외부 영상의 프레임 사이즈와 상수(0.05)의 곱과 관심 객체 크기의 비로 정해진다.

일 례로 객체 종류별 가중치는 자동차 1, 사람 1, 및 고양이 0.5로 정해질 수 있고, 이에 관심 객체 A에 대한 관심객체 위험도는 3, 관심 객체 B에 대한 관심객체 위험도는 5, 관심 객체 C에 대한 관심 객체 위험도는 2로 각각 생성된다.

이러한 관심 객체 위험도는 경고 제공부(400)로 전달되며, 이에 경고 제공부(400)는 관심 객체 위험도에 따라 경고를 발생하여 운전자 및 객체에게 전달한다.

*이에 일 실시예는 구축된 학습 모델을 기반으로 입력된 운전자 모션 영상 및 차량 외부 영상에 대해 학습 수행하여 운전자 인지 영역을 추정하고 추정된 운전자 인지 영역을 제외한 나머지 운전자 비인지 영역의 차량 외부에 존재하는 다수의 객체 좌표를 토대로 도출된 다수의 객체 중 충돌 가능성이 존재하는 관심 객체 위험도를 생성하고, 생성된 관심 객체 위험도에 의거하여 경고를 발생한다.

또한, 경고 제공부(400)는 충돌 가능성이 있는 관심 객체에 경고를 방송할 때 운전자에게 경고의 방송 사실을 안내하는 알림 신호를 생성하고 생성된 알림 신호를 운전자에게 전달할 수 있다. 일 례로 운전자에 대한 경고 신호의 방송 알림은 차량 내 디스플레이, HUD, 조명 등을 이용한 시각적 경고, 차량 내 음향 장치를 이용한 음향 경고 내지 안전벨트를 당기거나 운전대의 햅틱 반응 등의 차량 조작을 통해 이루어질 수 있다.

한편, 다른 실시예로, 입력된 운전자 모션 영상에 대해 구축된 동공 패턴에 대한 학습 모델을 기반으로 학습 수행하여 운전자의 졸음 운전을 추정하고, 추정 결과 졸음 운전인 경우 경고를 발생할 수 있다. 여기서, 입력된 모션 영상으로 졸음 운전을 판단하여 경고를 발생하는 일련의 과정은 본 명세서에서 구체적으로 기재하지 아니하였으나 당업자 수준에서 이해되어야 할 것이다.

또 다른 실시예로, 입력된 운전자 모션 영상에 대해 이전 프레임의 운전자 모션 영상과 운전자가 소정 영역의 벗어나는 지를 추정하고, 추정 결과 운전자가 소정 영역을 벗어난 경우 운전자의 전방 주시 위반으로 판단하여 경고를 발생할 수 있다. 여기서, 입력된 모션 영상으로 전방 주시 위반 운전을 판단하여 경고를 발생하는 일련의 과정은 본 명세서에서 구체적으로 기재하지 아니하였으나 당업자 수준에서 이해되어야 할 것이다.

이에 일 실시예는 차량의 내부 및 외부에 설치된 소정 수의 카메라를 통해 수집된 운전자 모션 영상 및 차량 외부 영상에 대해 인공지능 기반으로 학습 수행하고 학습 결과를 토대로 운전자 비인지 영역에 대한 차량과 객체 간의 충돌 가능성 및 객체 위험도를 도출함에 따라, 운전자 및 관심 객체 간의 충돌로 인한 사고를 미연에 방지할 수 있고, 이에 자율 주행 차량에 대한 안전성 및 신뢰성을 더욱 향상시킬 수 있다.

도 5는 도 1에 도시된 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템의 동작 과정을 보인 전체 흐름도로서, 도 5를 참조하여 본 발명의 다른 실시예에 따른 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 과정을 설명한다.

우선 단계(S11)(S12)에서, 일 실시예의 운전자 모션 수집부(100)는 차량 내부에 설치된 카메라로부터 제공받은 차량의 운전자 모션 영상을 수집하고, 단계(S12)에서, 일 실시예의 충돌 위험도 도출부(300)는 수집된 다수의 운전자 모션 영상을 토대로 운전자 시선 좌표를 생성하고 생성된 운전자 시선 좌표와 운전자 시선 좌표에 따른 운전자 인지 영역을 추정하기 위한 학습 데이터를 저장한다.

그리고, 단계(S13)에서, 일 실시예의 외부 영상 수집부(200)는 차량의 외부에 설치된 카메라로부터 제공받은 차량 외부 영상을 수집하고, 단계(S14)에서, 일 실시예의 충돌 위험도 도출부(300)는 수집된 다수의 차량 외부 영상을 토대로 다수의 객체 좌표를 생성하고 생성된 각 객체 좌표를 학습 데이터로 저장한다.

단계(S15)에서, 일 실시예의 충돌 위험도 도출부(300)는 입력된 현재 시점 t의 프레임의 운전자 모션 영상에 대한 인공 지능 기반으로 학습 수행하여 운전자 시선 좌표에 위한 운전자 인지 영역을 추정한다.

단계(S16)에서, 일 실시예의 충돌 위험도 도출부(300)는 추정된 운전자 인지 영역으로부터 운전자 비인지 영역을 도출한다.

그리고 단계(S17)에서, 일 실시예의 충돌 위험도 도출부(300)는 운전자 비인지 영역에 존재하는 다수의 객체 중 각 객체의 t-1 시점 프레임의 객체 좌표와 t-2 시점 프레임의 객체 좌표를 토대로 충돌 가능성이 존재하는 관심 객체를 도출한다.

이 후 단계(S18)~(S20)에서, 일 실시예의 충돌 위험도 도출부(300)는 각 객체의 t-1 시점 프레임의 객체 좌표와 t-2 시점 프레임의 객체 좌표를 토대로 충돌 예상 시간 별 충돌 위험도를 도출한 다음 일 실시예의 충돌 위험도 도출부(300)는 단계(S19)에 의거하여 관심 객체의 객체 위험도를 도출한다.

그리고 단계(S20)에서, 일 실시예의 경고 제공부(400)는 객체 위험도의 각 단계에 의거하여 경고를 발생하고 발생된 경고를 운전자 및 객체로 전달된다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기 광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

100 : 운전자 모션 수집부
200 : 외부 영상 수집부
300 : 충돌 위험도 도출부
310 : 모델 구축모듈
320 : 학습 모듈
330 : 관심 객체 추출모듈
340 : 충돌 위험도 생성모듈
400 : 경고 제공부

Claims

차량 내부에 설치된 카메라로부터 제공받은 차량의 운전자 모션 영상을 수집하는 운전자 모션 수집부;
차량의 외부에 설치된 카메라로부터 제공받은 차량 외부 영상을 수집하는 외부 영상 수집부;
다수의 운전자 모션 영상으로부터 획득된 각 운전자 시선 좌표를 생성한 다음 생성된 운전자 시선 좌표를 학습 데이터로 저장하고, 입력된 차량 외부 영상으로부터 획득된 다수의 객체 좌표를 생성하여 학습 데이터로 저장하여 학습 모델을 구축하는 충돌 위험도 도출부를 포함하고,
상기 충돌 위험도 도출부는,
입력된 운전자 모션 영상에 대해 기 구축된 학습 모델을 기반으로 학습을 수행하여 운전자 시선 좌표에 의거한 운전자 인지 영역을 추정하고, 추정된 운전자 인지 영역을 제외한 운전자 비인지 영역에 대해 수집된 차량 외부 영상을 토대로 차량과 관심 객체 간의 충돌 위험도 및 관심 객체 위험도를 도출하도록 구비하되,
운전자 비인지 영역의 영상 프레임에 대해 현재 시점 t를 기준으로 t-1 시점의 프레임에서의 관심 객체들의 좌표 및 t-2 시점 프레임에서 관심 객체의 좌표를 토대로 관심 객체의 이동 거리 및 이동 속도로 충돌 예상 시간 별 관심 객체 충돌 가능성을 도출하고, 도출된 충돌 위험도와 관심 객체 가중치 DB의 관심 객체의 종류 및 크기 가중치로 관심 객체 위험도를 생성하도록 구비되고,
상기 충돌 위험도는
상기 추정된 운전자의 시선 좌표와 일치하는 좌표의 객체를 관심 객체로 선정한 다음 운전자의 비인지 영역의 영상의 프레임 차로 관심 객체의 충돌 예상 시간을 도출하고 도출된 충돌 예상 시간과 매칭되어 기 저장된 충돌 가능성으로 도출되도록 구비되고,
상기 관심 객체 위험도는,
상기 충돌 위험도, 관심 객체의 종류 및 크기에 매칭되어 저장된 가중치로 도출하되, 충돌 위험도, 관심 객체의 종류의 가중치 및 크기의 가중치의 곱으로 도출되는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.
제1항에 있어서, 상기 시스템은,
상기 관심 객체 위험도에 의거하여 운전자 및 관심 객체에게 경고를 생성하여 방송하는 경고 제공부를 포함하는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.
제2항에 있어서, 상기 충돌 위험도 도출부는,
수집된 다수의 운전자 모션 영상을 토대로 추출된 운전자 시선 좌표를 생성하고 생성된 운전자 시선 좌표에 의거하여 추출된 운전자 인지 영역을 학습 데이터로 생성하고, 수집된 다수의 외부 영상으로부터 감지된 다수의 객체 및 감지된 각 객체들의 좌표를 학습 데이터로 저장하여 학습 모델을 구축하는 모델 구축모듈;
입력된 운전자 모션 영상에 대해 구축된 모델 기반으로 학습을 수행하여 운전자 시선 좌표에 따른 운전자 인지 영역을 추정하고 추정된 운전자 인지 영역을 제외한 나머지 운전자 비인지 영역에서의 차량 외부 영상으로 획득된 다수의 객체 좌표를 출력하는 학습 모듈;
현재 시점 t을 기준으로 기 정해진 소정 주기 이전의 t-1 시점 프레임의 다수의 객체 좌표와 t-1 시점을 기준으로 이전의 t-2 시점 프레임의 다수의 객체 좌표를 토대로 다수의 객체 중 충돌 가능성이 존재하는 관심 객체를 도출하는 관심 객체 추출모듈; 및
도출된 관심 객체와 운전자 간의 객체 위험도를 도출하고 도출된 관심 객체와의 객체 위험도에 따라 경고를 발생하고 발생된 경고를 경고 제공부로 전달하는 충돌 위험도 생성모듈을 포함하는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.
제3항에 있어서, 상기 학습 모델은,
수집된 다수의 운전자 모션 영상으로부터 각 운전자 시선 좌표를 생성하여 저장하는 시야 검출 DB;
다수의 차량 외부 영상으로부터 획득된 각 차량 외부 영상의 다수의 객체 및 각 객체 좌표를 운전자 시선 좌표에 매칭시켜 저장하는 객체 검출 DB;
각 획득된 각 차량 외부 영상의 객체의 종류 및 크기 별 기 정해진 가중치를 획득된 객체와 매칭시켜 저장하는 객체 가중치 DB를 포함하는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.
제4항에 있어서, 상기 시야 검출 DB는
현재 시점 t를 기준으로 가장 인접된 이전 시점 t에서의 운전자 시선 좌표 및 이전 시점 t를 기준으로 이전 시점 t-1의 운전자 시선 좌표를 저장하고,
상기 객체 검출 DB는,
현재 시점 t를 기준으로 가장 인접된 이전 시점 t에서의 운전자 시선에 의거하여 감지된 다수의 객체들의 좌표 및 임의의 시점 t를 기준으로 이전 시점 t-1에서 운전자 시선에 의거하여 감지된 다수의 객체들의 좌표를 각 운전자 시선 좌표와 매핑시켜 저장하도록 구비되는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.
제5항에 있어서, 상기 관심 객체 추출모듈은,
현재 시점 t에서 입력된 운전자 모션 영상에 대해 추정된 운전자 인지 영역을 제외한 나머지 운전자 비인지 영역을 도출하고,
상기 운전자 비인지 영역 내의 객체 검출 DB 내에 저장된 이전 시점 t에서 다수의 객체들의 좌표 및 이전 시점 t-1에서 다수의 객체들의 좌표의 차를 토대로 다수의 객체 중 충돌 가능성이 존재하는 관심 객체를 도출하도록 구비되는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.
제6항에 있어서, 상기 충돌 위험도 생성모듈은,
현재 시점 t를 기준으로 t-1 시점의 프레임에서의 관심 객체들의 좌표 및 t-2 시점 프레임에서 관심 객체의 좌표를 토대로 관심 객체의 이동 거리 및 이동 속도로 충돌 예상 시간 별 관심 객체 충돌 가능성을 도출하는 충돌 위험도 도출기; 및
도출된 충돌 위험도와 관심 객체 가중치 DB의 관심 객체의 종류 및 크기 가중치로 관심 객체 위험도를 생성하는 관심객체 위험도 생성기를 포함하도록 구비되는 것을 특징으로 하는 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템.