안녕하세요 오늘 제가 리뷰할 논문은 CVPR 2020에 accept된 self supervised 방식의 stereo matching & optical flow 관련 논문입니다.
해당 논문에서 수식이 굉장히 복잡하게 나와있는데요 정말 간단히 해당 논문 리뷰에서는 network architecture과 loss function만을 보고 설명 드리도록 하겠습니다.
위의 Figure 3은 전체적인 network architecture 입니다. 해당 self supervised learning은 2개의 stage로 나누어집니다.
stage 1에서는 optical flow와 stereo disparity사이에 기하학적 제약을 추가하여 confident한 prediction의 질을 개선합니다. 그리고 나서 stage 2에서는 효과적인 self supervised learning을 위해 student model을 안내하기 위해 challenging한 proxy task를 만듭니다.
간단히 설명을 하자면 stage 1에서 Qudrilateral constraint loss와 traingle constraint loss를 이용해서 W와 M을 구하고 이를 아래의 student model에서 구한 W와 self supervision loss를 주어서 진행하게 됩니다.
여기서 w는 optical flow 결과를 의미하고 M은 optical flow의 x축 좌표 변화를 이용해서 얻은 confidence map을 의미합니다.
그럼 loss로 바로 들어가서 설명하도록 하겠습니다.
(14)번 수식은 photometric loss입니다. Confident한 부분만을 가지고 I와 warping을 통해 만든 I가 유사해야 한다는 loss 입니다.
(15)와 (16)번 수식은 Quadrilateral constraint loss입니다. (15)번과 (16)번 수식을 볼 때 위의 Figure 1 그림을 같이 보면서 이해하면 좋을 것 같습니다. 먼저 w는 (u,v)로 이루어져 있습니다. w는 optical flow라고 말했고, optical flow는 x축, y축의 변화를 모두 가지고 있는 것이며 u는 x축으로의 변화를 뜻합니다. (u가 disparity랑 같다고 생각해도 될것 같습니다)
따라서 (15)번 수식에서 u1->2(ptl) = ptr, u2->4(ptr) = pt+1r, u1->3(ptl) = pt+1l, u3->4(ptl) = pt+1r 를 의미합니다.
생각을 해보면 ptr = pt+1l, pt+1r = pt+1r 이니까 이들 사이의 consistency를 사방으로 확인해 준것이라고 생각하면 됩니다. .
(17) (18)번 수식은 Triangle constraint loss입니다. 이 또한 위의 Quadrilateral constraint와 비슷한 개념입니다. 그런데 이것은 1->4, 2->4, 1->2 이렇게 확인을 해주어서 이를 가리키는 화살표를 묶어보면 triangle 모양이 나오게 되어서 Trriangle constraint loss라고 이름 붙인 것 같습니다. 해당 하는 것은 (15) (16) 수식과 동일한 개념이고, 어떤 것을 확인하느냐만 다릅니다.
마지막으로 (19)번 수식은 self supervision loss 입니다. 위에서 Quadrilateral constraint loss와 Triangle constraint loss를
사용해서 알맞은 w값과 M값을 구하고 위에서 구한 w값을 student model에서 예측한 w~과 비교를 하는 loss 입니다. 여기서 confident한 부분만을 계산합니다.
해당 논문의 결과입니다. 성능이 잘 나오고 있는 것을 확인 할 수 있습니다.
그럼 이상으로 간단히 논문 리뷰를 마치도록 하겠습니다
질문이 있거나 잘못된 부분이 있으면 언제든지! 댓글로 남겨주세요.
