딥러닝/Paper Review (16) 썸네일형 리스트형 Self supervised confidence 관련 ECCV 2020 논문 : Self-adapting confidence estimation for stereo 오늘 리뷰할 논문은 ECCV 2020에 accept된 self supervised 방식의 confidence 논문입니다. 핵심 아이디어를 중심으로 간단히 설명드리도록 하겠습니다. 해당 논문은 아래의 그림과 같이 self supervised 방식을 사용하여서 disparity 값에 따른 confidence 값을 얻습니다. 해당 논문에서는 3가지를 check 하고 그것을 이용해서 confidence를 학습시킵니다. 먼저 가장 첫번째부터 설명하도록 하겠습니다. Image reprojection error 해당 error는 left image와 right image를 left disparity로 warping 시킨 image와 비교하는 error 입니다. 여기서 left image와 right image의 차이.. Self supervised 관련 CVPR 2020 논문 : Flow2Stereo - Effective Self-Supervised Learning of Optical Flow and Stereo Matching 안녕하세요 오늘 제가 리뷰할 논문은 CVPR 2020에 accept된 self supervised 방식의 stereo matching & optical flow 관련 논문입니다. 해당 논문에서 수식이 굉장히 복잡하게 나와있는데요 정말 간단히 해당 논문 리뷰에서는 network architecture과 loss function만을 보고 설명 드리도록 하겠습니다. 위의 Figure 3은 전체적인 network architecture 입니다. 해당 self supervised learning은 2개의 stage로 나누어집니다. stage 1에서는 optical flow와 stereo disparity사이에 기하학적 제약을 추가하여 confident한 prediction의 질을 개선합니다. 그리고 나서 stag.. Unsupervised stereo matching 관련 PAMI 2021 논문 : Parallax Attention for Unsupervised Stereo Correspondence Learning 안녕하세요 오늘 제가 리뷰할 논문은 unsupervised stereo matching 관련 논문입니다. 해당 논문은 CVPR에 accept되고, 조금 더 발전 시켜 2020 PAMI에 나온 논문 입니다. 정말 간단하게 설명을 드리려고 합니다!! 먼저 해당 논문의 핵심인 Parallax-Attention Module PAM 부터 설명하도록 하겠습니다 위의 Fig. 2는 self attention과 parallax attention을 비교한 그림입니다. parallax는 시차라는 의미로 stereo matching에서 left right 이미지는 마치 t번째와 t+1번째 이미지와 같아 같은 epipolar line 상에서 attention을 준다고 생각하면 될 것 같습니다. 그 다음으로는 PAM의 구조에 .. Self supervised stereo matching 관련 ICRA 2021 논문 : PVStereo-Pyramid Voting Module for End-to-End Self-Supervised Stereo Matching 안녕하세요 오늘 리뷰할 논문은 self supervised stereo matching 관련 논문입니다. 해당 논문은 ICRA 2021에 accept 되었습니다. 해당 논문에서는 loss와 self supervised 방식 부분만을 집중해서 보도록 하겠습니다! Network에 대한 자세한 설명은 생략하도록 하겠습니다. 그럼 간단히 바로 설명 시작하도록 하겠습니다. 해당 논문은 supervised 방식과 self supervised 방식 두가지 모두로 실험을 진행하였습니다. 여기서 self supervised 방식에 초점을 맞추려고 하는데요, 해당 논문에서는 self supervised 방식으로 하기 위해서 가짜 정답을 생성해줍니다. 이를 생성하는 위의 Fig 2를 보시면 이해하실 수 있습니다. Fig 2.. Self-supervised stereo matching 관련 논문 : Self-supervised learning for Stereo Matching with Self-Improving Ability 안녕하세요 오늘 제가 리뷰할 논문은 self-supervised 방식의 stereo matching 논문입니다. 핵심만 간단히 설명 드리고자 합니다! 먼저 해당 논문의 Network architecture 입니다. 해당 network는 기존의 stereo matching과 유사하게 network가 구성 되어있습니다. Feature Volume Construction에서 cross feature volume은 왼쪽과 오른쪽 이미지에 대응하는 것에서 추출해 배운 feature를 concat 해서 만들어집니다. 파란색의 사각형은 left image의 feature map을 나타내고, staked 오렌지 사각형은 traversed된 right feature map을 나타냅니다. 위의 (1)번 식에서 u는 x축으.. Occlusion을 고려한 unsupervised stereo matching 관련 논문: Occlusion Aware Stereo Matching via Cooperative Unsupervised Learning 안녕하세요 오늘은 ACCV 2018에 accept된 unsupervised stereo matching 관련 논문을 리뷰하려고 합니다. 해당 논문은 occlusion을 고려해서 unsupervised learning을 하였습니다. 아래 그림을 보시면 occlusion을 고려한 것이 고려하지 않았을 때 보다 훨씬 개선이 된 것을 확인할 수 있습니다. error가 줄어든 영역이 늘어났으며, improved 된 영역이 많이 증가됨을 확인할 수 있습니다. 그럼 해당 논문의 network architecture를 보도록 하겠습니다. 굉장히 간단합니다. 해당 논문은 left image와 right image를 먼저 sub network인 occlusion network에 넣어주고 occlusion map을 얻습니다.. Unsupervised Stereo matching 관련 논문: Unsupervised Learning of Stereo Matching 안녕하세요 오늘 제가 소개드릴 논문은 Unsupervised stereo matching network의 가장 시초인 논문입니다. 해당 논문은 ICCV 2017에 accept 되었습니다. 그럼 간단히 소개드리도록 하겠습니다. 먼저 해당 논문의 Architecture 입니다. 간단히 설명하자면, 해당 논문에서는 일반적인 stereo matching network와 같이 cost volume을 생성합니다. 여기서 cost volume 생성한 것을 input image feature branch를 만들어서 concat을 해줍니다. 그 후 joint filtering을 통해서 좀 더 depth를 refine 할 수 있도록 합니다. 해당 논문에서는 iterative 하게 unsupervised stereo mat.. CVPR 2020 multi-task learning 논문 : Pattern-Structure Diffusion for Multi-Task Learning 해당 논문의 주된 contribution은 다음과 같습니다. 1. 새로운 pattern-structure diffusion framework를 제안하여 다른 작업 영역 내/간에 지역 패턴 구조를 채굴하고 전파하려고 시도한다. 2. 두 가지 유형의 pattern-structure diffusion을 제안하는데, intra-task는 장거리 전파를 배우기 위해 재귀 메커니즘을 도입하고 inter-task는 작업 간 상관 관계를 유도하여 교차 작업 구조를 전달한다. 3. multi-task learning dataset에 대해서 제안한 PSD가 효과적이라는 것을 보여주었다. Pattern-Structure Diffusion 1. Network Architecture Network Architecture는 위의.. 이전 1 2 다음
