나의 정리 논문이 지적한 문제점 기존의 monocular 3D object detection에서 사용되던 Pseudo-LiDAR 방식은 너무 복잡한 학습 과정이 필요하여 Optimization이 어려워 generalization 성능이 떨어지는 문제점을 가지고 있습니다. 또한 depth estimation 과정에서 생기는 error가 최종적인 3D detection 성능의 하락에 주요한 원인입니다. 해결 방안 End-to-End 학습 방식의 모델을 제안하여 generalization 성능을 높였습니다. 또한 dense depth pre-training을 하여서 depth estimation error를 줄여서 3D detection 성능을 높이고자 하였습니다. Motivation 이전에 리뷰하였던 Pse..

나의 정리 논문이 지적한 문제점 Monocular 3D detector는 LiDAR-based 3D detector와 비교하여 성능 차이가 존재합니다. 또한 Monocular Depth estimation으로 생성된 depth map의 경우 부정확한 depth를 추정하기 때문에 estimated depth map으로 Pseudo-LiDAR를 생성하면 noisy 한 point들이 생성됩니다. 따라서 noisy에 대한 고려가 필요합니다. 해결 방안 Pseudo-LiDAR는 global structure에 대해서는 잘 생성되지만 local noise가 존재하기 때문에 Point Cloud Frustum을 생성하면 local misalignment가 생깁니다. 이러한 문제를 2D-3D consistency lo..

나의 정리 논문이 지적한 문제점 기존의 monocular 3D detection의 경우 많은 논문들이 depth 정보를 만들어내 detection을 진행하는데 이 때 부정확한 depth 정보를 만들어 내기 때문에 LiDAR detector에 비해 낮은 성능을 내고 있다고 주장합니다. 하지만 이 논문은 부정확한 depth 정보가 성능 차이를 내는 것이 아니라고 주장합니다. 해결 방안 부정확한 depth 정보가 아닌 3D object detection에 더 어울리는 representation은 point cloud이기 때문에 LiDAR detector보다 낮은 성능을 내는 것이라고 주장합니다. 따라서 이 논문은 image로 depth map을 생성한 뒤 estimated depth map을 통해 Pseudo..

나의 정리 논문이 지적한 문제점 지금까지 monocular 3D object detection은 하나의 instance를 분리시켜 단일 regression target으로 depth estimation을 하여 문제를 해결했습니다. 하지만 image에는 여러 instance들이 존재하고, instance들끼리는 서로 기하학적인 관계를 가지고 있습니다. 또한 본질적으로 ill-posed problem을 가지고 있기 때문에 단일 regression target으로 depth를 예측하면 성능이 떨어지는 문제를 가집니다. 해결 방안 한 image 내 instance끼리의 geometric relationship을 이용해서 depth를 propagation하여 분리된 instance가 아닌 서로의 depth가 영향..

나의 정리 논문이 지적한 문제점 point cloud를 raw data로써 사용하지 않고 voxelization 등을 하고 사용을 해왔습니다. 이는 불필요하게 data가 많아지게 됩니다. 해결 방안 따라서 point cloud를 곧바로 input data로 사용하는 model을 고안하였습니다. Introduction 이전까지 point cloud를 사용할 땐 voxel이나 mesh로 변환을 시킨 다음 input data로 사용을 하였습니다. 하지만 변환을 시키면 data가 불필요하게 많아지고 natural invariance가 모호해집니다. 따라서 이 논문에서는 point cloud를 곧바로 input data로 사용하는 방법을 소개합니다. point cloud는 두 가지 특성이 있습니다. 첫째 순서가 ..

나의 정리 논문이 지적한 문제점 기존의 monocular 3D object detection으로 multi-view camera 3D object detection을 진행하려면 각각의 view 각각 detection을 진행해야 했습니다. 또한 추가적인 depth estimation network를 사용하거나 bottom-up 방식을 사용하면 compounding error로 인해 전체적인 성능의 저하를 일으킵니다. 해결 방안 detection head layer에서 object query를 사용해 bbox의 center를 prediction하여 그 값으로 2D feature를 sampling 해서 object query에 정보를 추가해주고 multi-head attention을 통해서 2D informa..

나의 정리 논문이 지적한 문제점: 기존의 monocular 3D object detection을 위해서 Pseudo-LiDAR 방식을 사용하는 경우엔 image로 너무 다른 modality를 가지는 LiDAR data를 생성하는데 많은 오류가 생기고 그로 인하여 성능 저하를 겪게 됩니다. 해결 방안: 따라서 input image로 virtual right image를 생성하여 기존의 Stereo 3D object detector를 통과시켜 3D object detection을 진행합니다. 이때 image를 생성하는 방법을 image-level generation, feature-level generation, feature-clone 세 가지 방식으로 생성하고 각각의 방식의 결과와 효과를 분석한 결과 d..

나의 정리 논문이 지적한 문제점: 기존의 Voxel 기반의 3D object detection인 VoxelNet에서 sparse 한 data인 LiDAR data에 convolution을 적용하다 보니 계산량이 많아 느린 단점과 orientation의 예측 성능이 낮은 문제점이 존재합니다. 해결 방안: Sparse한 data의 특성에 맞춰서 기존의 dense convolution이 아닌 sparse convolution을 이용하고 fast rule generation을 통하여 더 빠른 학습과 추론이 가능하게 하였습니다. 또한 기존의 angle regression loss 문제점을 지적하고 novel angle regression loss와 direction classifier를 통하여 orientatio..