딥러닝 (26) 썸네일형 리스트형 ECCV 2020 Multi-task 관련 논문 : Reparameterizing Convolutions for IncrementalMulti-Task Learning without Task Interference 안녕하세요 오늘은 ECCV 2020에 나온 Multi-task learning 관련 논문을 리뷰하고자 합니다. 그럼 바로 설명들어가도록 하겠습니다. Multi task에서 해결해야할 2가지를 1. 모델을 본질적,점진적으로 만들고 이전에 학습 한 task를 잊지 않고 새로운 task의 정보를 지속적으로 통합 할 수 있어야 한다. 2. Multi-task 설정에서 Single-task 성능을 현저히 저하시키는 것으로 나타 났던 task 간의 불리한 상호 작용을 제거해야 한다. 해당 논문에서는 표준 neural network의 convolution을 학습할 수 없는 공유 부분과 task specific한 부분을reparameterizing 하여 위에서 말한 두가지를 달성한다. 위의 그림1은 각각 single-.. ECCV 2018에 나온 Stereo를 이용한 Monocular depth estimation 논문 : Learning Monocular Depth by DistillingCross-domain Stereo Networks 안녕하세요 오늘은 ECCV 2018에 나온 Stereo network를 이용해서 Monocular depth estimation 성능 개선을 하는 논문에 대해서 리뷰를 하려고 합니다. 아이디어는 정말 간단합니다. 3단계 Step으로 이루어 진다고 생각하면 되는데요, 1. Stereo network를 synthetic data를 이용해서 훈련 시킨다. 2. 위에서 훈련 시킨 Stereo network를 real data를 이용해서 supervised 방식으로 finetuning을 하거나, unsupervised 방식으로 finetuning을 한다. 3. 위에서 완료된 stereo network를 이용해서 예측 치를 뽑고, 그것을 monocular network에서 나온 예측치와 비교해서 mono depth.. Stereo matching & occlusion 관련 논문 : Improving Deep Stereo Network Generalization with Geometric Priors 오늘은 최근에 나온 Stereo matching관련 논문에 대해서 review를 하려고 합니다. 오늘도 논문의 핵심 내용만을 간추려서 설명 드리도록 하겠습니다. 그럼 시작하도록 하겠습니다! 해당 논문은 network가 더 잘 일반화 될 수 있도록 scene geometry에 대한 사전 지식을 end to end stereo network에 통합 할 것을 제안합니다. 주어진 network의 경우, inference 중에 구조가 변경되지 않은 상태로 유지되는 동안 gradient-domain-smoothness prior 및 occlusion reasoning을 네트워크 훈련에 명시 적으로 추가합니다. 해당 논문에서는 이렇게 gradient-domain-smoothness prior과 occlusion re.. Stereo matching Adaptation 관련 논문 : Continual Adaptation for Deep Stereo 안녕하세요 오늘 제가 리뷰할 논문은 Continual adaptation for Deep stereo라는 논문입니다. 하나하나 설명하기 보다 해당 논문에서의 주된 contribution을 위주로 간단히 설명을 하고자 합니다. 바로 설명을 들어가면, 해당 논문에서는 stereo network에서 계속해서 바뀌는 환경에서도 depth를 잘 예측할 수 있게 하기 위해서 continual adaptation paradigm을 고안했다. 위의 그림1은 기본적인 Full Adaptation에 대한 Algorithm이다. 입력을 받아 값을 예측하고 loss를 잰 다음 weight를 그것에 맞게 새로 업데이트하는 것이다. 즉 예를 들어서 FlyingThings data로 훈련을 시켜 놓은 모델이 있을 때 새로운 KIT.. 2020 ECCV에 accept된 Multi-task 관련 논문 : MTI-Net 안녕하세요 정말 오랜만이죠... 오늘 제가 리뷰할 논문은 이번 ECCV에 발표된 논문입니다. 제목은 MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning 입니다. 먼저 해당 논문의 주된 contribution을 설명하자면 1. Multi scale Multi modal distillation unit을 통해 모든 scale에서 task 상호 작용을 명시적으로 모델링한다. 2. Lower scale이 higher scale에게 선별된 task 정보를 전파하는 feature propagation module을 사용한다. 3. 모든 scale의 feature들, 정제된 task feature들을 모아서 최종 결과를 출력한다. 입니다. 제.. Cross Entropy Loss에 대한 간단한 설명! 오늘은 Supervised Semantic Segmentation에서 주로 사용되는 loss인 Cross Entropy loss에 대해서 설명하려고 합니다! Cross Entropy는 위에 설명 그대로 P와 Q 두 확률간의 Entropy를 계산하는 것입니다. 여기서 P는 정답, Ground Truth라고 생각하고, Q는 예측한 값이라고 생각하면 될 것 같습니다. Cross Entropy를 풀어서 쓴 식입니다. 첫번째 줄의 식을 -, + 를 해서 두번쨰 줄의 식처럼 바꿀 수 있습니다. 그랬을 때 두번째 줄의 식을 세번째 줄로 바꾸어 표현 가능합니다. 즉, 여기서 H(p)는 p의 entropy이고, 뒤의 식은 p와 q의 KL divergence를 구한 것입니다. 그럼 여기서 KL divergence가 무엇일.. Image Reconstruction은 어떻게?? 코드 분석 및 예시 결과 안녕하세요 오늘은 Image Reconstruction을 어떻게 하는지를 간략히 설명하려고 합니다! 해당하는 코드는 https://github.com/OniroAI/MonoDepth-PyTorch/blob/master/loss.py 여기에 들어가면 확인할 수 있습니다. OniroAI/MonoDepth-PyTorch Unofficial implementation of Unsupervised Monocular Depth Estimation neural network MonoDepth in PyTorch - OniroAI/MonoDepth-PyTorch github.com 아래는 Image Reconstruction에 가장 중요한 핵심이 되는 apply_disparity함수입니다. 먼저 위의 함수에서 imag.. Mono Depth Estimation에 대한 간단한 설명! 오늘은 Mono Depth Estimation에 대해서 간략히 설명을 해보려고 합니다. Depth Estimation이란????! Depth Estimation이란 말 그대로 영상에서 깊이를 추정하는 것입니다. 위의 그림을 예로 설명을 해보도록 하겠습니다. 위의 그림에서 왼쪽에 차가 가까이 있고, 가운데와 오른쪽 사이의 노란색 표지판은 왼쪽의 차보다는 멀리 있습니다. 이와 같이 사람은 사진을 보고, 어떤 물체가 가까이 있고, 어떤 물체가 멀리 있는지를 대략적으로 알 수 있습니다. 하지만, 컴퓨터는 사진만 보고 깊이를 추정하기 어려워 합니다. 따라서 깊이를 알 수 있도록 Train을 하는 것입니다. 위의 그림에서 원본 이미지 아래에 있는 그림을 보시면, 가까이 있는 부분은 밝은색, 멀리 있는 부분은 어두운.. 이전 1 2 3 4 다음
