안녕하세요 오늘 제가 리뷰할 논문은 Continual adaptation for Deep stereo라는 논문입니다.
하나하나 설명하기 보다 해당 논문에서의 주된 contribution을 위주로 간단히 설명을 하고자 합니다.
바로 설명을 들어가면, 해당 논문에서는 stereo network에서 계속해서 바뀌는 환경에서도 depth를 잘 예측할 수 있게 하기 위해서 continual adaptation paradigm을 고안했다.
위의 그림1은 기본적인 Full Adaptation에 대한 Algorithm이다. 입력을 받아 값을 예측하고 loss를 잰 다음 weight를 그것에 맞게 새로 업데이트하는 것이다. 즉 예를 들어서 FlyingThings data로 훈련을 시켜 놓은 모델이 있을 때 새로운 KITTI dataset에 adaptation을 시키고 싶어 KITTI data image를 하나씩 넣으면서 FlyingThings data에 맞추어져 있던 weight 값들을 조금씩 KITTI에도 맞게 업데이트 한다라는 의미이다.
위의 그림2는 해당 논문에서 제안하는 Mobular adaptation이다. 전체적인 network는 그림2의 왼쪽 그림이며, network에 1부터 p까지의 layer가 있다. 위에서 제안한 Full adaptation 처럼 모든 파라미터들을 업데이트 하는 것은 시간도 많이 걸리고 계산도 많이 필요합니다. 따라서 해당 논문에서 network의 layer 모두를 업데이트 하는 것이 아닌, layer 중 업데이트가 필요한 layer를 선택해서 몇몇의 layer만을 업데이트 하는 것을 제안하였습니다. 이것이 바로 해당 논문의 핵심 contribution입니다.
Algorithm2를 보면 algorithm1과 유사하다. 다른 점은 몇몇의 layer만 업데이트 한다는 것이다. 그런데 어떻게 업데이트할 layer를 선택하는지가 관건인데, 해당 논문에서는 이미지를 넣었을 때 이전의 Lt-1과 Lt-2를 이용해서 Lt를 예측하고 예측한 값과 실제 Lt의 값의 차를 이용해서 업데이트를 할 지 결정하여 layer의 weight 업데이트를 진행한다.
이것이 끝이다.
MAD++는 MAD에서 더 나아간 것으로, proxy supervision을 사용해서 성능을 향상 시킨다. 수식이 많지만 이모든 것을 생략하고 간단히 설명하자면, 해당 논문에서는 hand craft 방식으로 stereo matching을 하는 semi global matching을 사용해서 proxy supervision에 이용을 한다. 즉, sgm을 통해서 proxy disparity를 얻고, 또 그에 따른 confidence도 측정을 해준 뒤 네트워크는 prediction한 것과 proxy disparity 사이의 불일치로 인한 loss를 최소화하면서 업데이트된다.
Online adaptation 결과이다. MADNet에 앞서 설명한 FULL과 MAD, MAD++의 결과이다.
블로그에 첨부한 것 보다 더 많은 실험결과가 있습니다. 해당 포스트에서는 결과에 대해 모두 첨부하지 않고, 설명을 따로 하지 않겠습니다. 따라서, 결과는 논문을 참고하시면 될 것 같고, 이상 간단히 중요 내용만 설명을 해보았습니다!
질문은 댓글로 부탁드립니다. 그리고 잘못된 내용이 있다면 알려주세요.
