earticle

영어

In an autonomous driving system equipped with a camera and lidar, depth completion techniques enable dense depth estimation. In particular, using self-supervised learning it is possible to train the depth completion network even without ground truth. In actual autonomous driving, such depth completion should have very short latency as it is the input of other algorithms. So, rather than complicate the network structure to increase the accuracy like previous studies, this paper focuses on network latency. We design a U-Net type network with RegNet encoders optimized for GPU computation. Instead, this paper presents several techniques that can increase accuracy during the process of self-supervised learning. The proposed techniques increase the robustness to unreliable lidar inputs. Also, they improve the depth quality for edge and sky regions based on the semantic information extracted in advance. Our experiments confirm that our model is very lightweight (2.42 ms at 1280x480) but resistant to noise and has qualities close to the latest studies.

한국어

카메라와 라이다가 탑재된 자율주행 시스템에서 깊이완성기술을 통해 조밀한 깊이추정을 할 수 있다. 특히, 자기지도학습을 이용하면 깊이정답이 없는 주행데이터로도 깊이완성 네트워 크의 학습이 가능하다. 실제 자율주행환경에서 이러한 깊이완성의 출력은 다른 알고리즘들의 입력으로 사용되므로 매우 빠른 지연속도를 요구한다. 그래서 본 논문에서는 종래의 연구들처 럼 네트워크를 고도화하여 정확도를 높이기보단 추론속도를 극대화한 형태의 깊이완성 네트 워크를 사용한다. GPU 연산에 최적화된 RegNet 인코더를 사용하고 네트워크의 병렬성을 고려 한 U-Net 형태의 네트워크를 설계한다. 대신, 본 논문에서는 자기지도학습 과정에서 정확도를 높일 수 있는 몇 가지 기법들을 제시한다. 제시하는 기법들은 신뢰할 수 없는 라이다 입력에 대한 강인함을 높이고 사전에 추출한 시맨틱 정보를 바탕으로 에지와 하늘 영역에 대한 깊이 추정 품질을 향상시킨다. 실험을 통해 우리의 모델은 매우 경량임에도 (2.42ms at 1280x480) 노 이즈에 강하며 최신 연구들과 대등한 정확도를 보임을 확인한다.