본문 바로가기
728x90
SMALL

딥러닝

 (26)
Self supervised stereo matching 관련 ICRA 2021 논문 : PVStereo-Pyramid Voting Module for End-to-End Self-Supervised Stereo Matching 안녕하세요 오늘 리뷰할 논문은 self supervised stereo matching 관련 논문입니다. 해당 논문은 ICRA 2021에 accept 되었습니다. 해당 논문에서는 loss와 self supervised 방식 부분만을 집중해서 보도록 하겠습니다! Network에 대한 자세한 설명은 생략하도록 하겠습니다. 그럼 간단히 바로 설명 시작하도록 하겠습니다. 해당 논문은 supervised 방식과 self supervised 방식 두가지 모두로 실험을 진행하였습니다. 여기서 self supervised 방식에 초점을 맞추려고 하는데요, 해당 논문에서는 self supervised 방식으로 하기 위해서 가짜 정답을 생성해줍니다. 이를 생성하는 위의 Fig 2를 보시면 이해하실 수 있습니다. Fig 2..
Self-supervised stereo matching 관련 논문 : Self-supervised learning for Stereo Matching with Self-Improving Ability 안녕하세요 오늘 제가 리뷰할 논문은 self-supervised 방식의 stereo matching 논문입니다. 핵심만 간단히 설명 드리고자 합니다! 먼저 해당 논문의 Network architecture 입니다. 해당 network는 기존의 stereo matching과 유사하게 network가 구성 되어있습니다. Feature Volume Construction에서 cross feature volume은 왼쪽과 오른쪽 이미지에 대응하는 것에서 추출해 배운 feature를 concat 해서 만들어집니다. 파란색의 사각형은 left image의 feature map을 나타내고, staked 오렌지 사각형은 traversed된 right feature map을 나타냅니다. 위의 (1)번 식에서 u는 x축으..
Occlusion을 고려한 unsupervised stereo matching 관련 논문: Occlusion Aware Stereo Matching via Cooperative Unsupervised Learning 안녕하세요 오늘은 ACCV 2018에 accept된 unsupervised stereo matching 관련 논문을 리뷰하려고 합니다. 해당 논문은 occlusion을 고려해서 unsupervised learning을 하였습니다. 아래 그림을 보시면 occlusion을 고려한 것이 고려하지 않았을 때 보다 훨씬 개선이 된 것을 확인할 수 있습니다. error가 줄어든 영역이 늘어났으며, improved 된 영역이 많이 증가됨을 확인할 수 있습니다. 그럼 해당 논문의 network architecture를 보도록 하겠습니다. 굉장히 간단합니다. 해당 논문은 left image와 right image를 먼저 sub network인 occlusion network에 넣어주고 occlusion map을 얻습니다..
Unsupervised Stereo matching 관련 논문: Unsupervised Learning of Stereo Matching 안녕하세요 오늘 제가 소개드릴 논문은 Unsupervised stereo matching network의 가장 시초인 논문입니다. 해당 논문은 ICCV 2017에 accept 되었습니다. 그럼 간단히 소개드리도록 하겠습니다. 먼저 해당 논문의 Architecture 입니다. 간단히 설명하자면, 해당 논문에서는 일반적인 stereo matching network와 같이 cost volume을 생성합니다. 여기서 cost volume 생성한 것을 input image feature branch를 만들어서 concat을 해줍니다. 그 후 joint filtering을 통해서 좀 더 depth를 refine 할 수 있도록 합니다. 해당 논문에서는 iterative 하게 unsupervised stereo mat..
CVPR 2020 multi-task learning 논문 : Pattern-Structure Diffusion for Multi-Task Learning 해당 논문의 주된 contribution은 다음과 같습니다. 1. 새로운 pattern-structure diffusion framework를 제안하여 다른 작업 영역 내/간에 지역 패턴 구조를 채굴하고 전파하려고 시도한다. 2. 두 가지 유형의 pattern-structure diffusion을 제안하는데, intra-task는 장거리 전파를 배우기 위해 재귀 메커니즘을 도입하고 inter-task는 작업 간 상관 관계를 유도하여 교차 작업 구조를 전달한다. 3. multi-task learning dataset에 대해서 제안한 PSD가 효과적이라는 것을 보여주었다. Pattern-Structure Diffusion 1. Network Architecture Network Architecture는 위의..
CVPR 2018 Multi-task 관련 논문 : PAD-Net: Multi-Tasks Guided Prediction-and-Distillation Networkfor Simultaneous Depth Estimation and Scene Parsing 안녕하세요 오늘 제가 리뷰할 논문은 CVPR 2018에 accept된 multi task 관련 논문인 PAD-Net 입니다. 먼저 해당 논문의 contribution을 간단히 설명을 하자면 1. 새로운 multi-task guided prediction and distillation network인 PAD-Net을 제안했다. 2. 세가지의 다른 multi-modal distillation module을 고안하였다. 3. NYUD-v2와 Cityscape dataset에 대해서 실험한 결과 좋은 성능을 나타내었다. 그럼 PAD-Net에 대해서 조금 더 자세히 설명을 시작하도록 하겠습니다. PAD-Net의 architecture는 위의 그림과 같습니다. PAD-Net은 4개의 주요 구성 요소로 이루어져있습니..
cs231n 강의 : CNN 기초 설명!!! ( Stride, padding, activation function, pooling등) CNN 해당 내용은 Stanford cs231 강의를 듣고 내용을 정리한 것입니다. http://cs231n.stanford.edu/ Stanford University CS231n: Convolutional Neural Networks for Visual Recognition Can I audit or sit in? In general we are very open to auditing if you are a member of the Stanford community (registered student, staff, and/or faculty). Out of courtesy, we would appreciate that you first email us or talk to the instructor a..
KITTI DataLoader 구현하기! 먼저 dataset.py를 생성합니다. Data는 KITTI dataset이고, left image, left depth gt, left segmentation gt를 load할 것 입니다. 1. Import 및 label_classes 만들기 먼저 필요한 것들을 모두 import 해줍니다. 그리고 segmentation을 할 때 사람이 빨간색, 자동차가 파란색으로 표현이 되어, 사람 = (255,0,0), 자동차 = (0,0,255)라고 가정을 하면 해당하는 것을 labeling을 해주어야 한다. KITTI dataset은 19개의 label로 표현이 되며, label_classes는 위의 코드에 작성한 것대로이다. (ex, (0,0,0) = 255 - 검은색 부분으로 칠해진 것은 label이 255 ..
728x90
LIST

티스토리툴바