해당 논문의 주된 contribution은 다음과 같습니다.
1. 새로운 pattern-structure diffusion framework를 제안하여 다른 작업 영역 내/간에 지역 패턴 구조를 채굴하고 전파하려고 시도한다.
2. 두 가지 유형의 pattern-structure diffusion을 제안하는데, intra-task는 장거리 전파를 배우기 위해 재귀 메커니즘을 도입하고 inter-task는 작업 간 상관 관계를 유도하여 교차 작업 구조를 전달한다.
3. multi-task learning dataset에 대해서 제안한 PSD가 효과적이라는 것을 보여주었다.
Pattern-Structure Diffusion
1. Network Architecture
Network Architecture는 위의 그림과 같다.
전체 network는 shared encoder와 3개의 task-specific한 decoder로 이루어져있다.
여기서 decoder는 pattern-structure가 작업 간, 작업 내에서 상호 전파된다.
RGB image가 input으로 들어오면 encoder가 convolution을 통해 multi-scale hierarchical feature map을 생성한다.
인코더의 마지막 convolution layer의 response mp을 각 작업 branch로 공급하여 픽셀 수준 작업 관련 정보를 decoding한다. 그리고, 정밀한 고해상도 예측을 생성하기 위해 convolution feature를 high resolution feature map으로 decoding 한 다음 encoder에서 동일한 scale feature과 연결하여 residual block으로 공급하여 task-specific feature를 생성한다.
그 다음으로 pattern-structure diffusion을 3개의 task specific feature map에 수행한다.
구체적으로, decoding 된 feature에 대해 intra PSD를 수행하여 각 task 내에서 장거리 컨텍스트 정보를 전송 한 다음 두 가지 다른 작업에 대해 inter PSD를 사용하여 대응 구조를 상호 흡수한다.
고효율 PSD를 위해 대규모 또는 전역 영역 대신 픽셀 수준의 로컬 패턴 영역에 작은 graplet을 구성한다.
또한, 우리는 장거리 위치로 전파하기 위해 graphlet에서 재귀 프로세스를 유도한다.
Inter PSD의 경우 공통 위치에서 쌍을 이루는 graplet을 상호 연결하고 구조 정보를 대상 작업으로 가중치를 적용하여 전송한다.
최종적으로, Inter/intra PSD 덕분에 패턴 구조는 세 가지 작업 내 / 전체에 걸쳐 장거리 컨텍스트간에 널리 퍼질 수 있다.
2. Local Pattern-Structure Definition
Depth, segmentation, surface normal task에 대해서 각각 decoded된 multi-channel feature map을
라 한다. H,W,c는 height,width, channel의 수를 뜻한다.
Pattern-structure라고하는 픽셀 수준 상관 관계를 사용하여 각 local pattern을 특성화한다.
각각의 multi-channel feature X가 있고, 우리는 그것을 lxl region으로 crop할 수 있고 이것을 local pattern
이라고 할 수 있다. 여기서 Pi는 position i에서의 crop 된 pattern을 의미한다.
각각의 local patch patter에 대해서 우리는 graphlet
을 생성할 수 있다.
그리고, Api는 아래와 같이 정의된다.
여기서 [·] j는 입력 행렬의 j 행을 취하고, [APi] jk는 i 번째 패치 패턴에서 위치 j와 k 사이의 패턴 상관 관계를 기록하며 σ (기본값은 σ 2 = 2)는 지수 인자이다.
노드 j와 k의 패턴이 비슷할수록 [APi] jk의 해당 값이 커진다.
따라서 APi는 매우 자주 반복되는 로컬 구조를 나타내며 위의 관찰을 기반으로 성능을 높이기 위해 작업 내 / 작업 간 패턴 전파에 사용할 수 있다.
3. Intra-Task PSD
Intra-task diffusion의 목적은 작업 별 패턴을 향상시키기 위해 단일 작업에서 로컬 패턴을 확산시켜 장거리 의미 정보를 포착하는 것이다.
위와 같이 다른 지역 구조에 대한 척도의 영향을 줄이기 위해 각 APi의 인접한 상관 관계를 합 1로 정규화한다.
그리고, 정보를 전파하기 위해 summation aggregation을 사용하여 인접한 정점의 패턴에 가중치를 부여한다.
이웃 집합 N (vi) 및 가중치 w (vi, vj)는 위에서 계산 된 인접 관계 APi에 의해 결정되며, f는 특징 추출 함수를 나타낸다.
작업 내 확산 프로세스는 그림에 나와 있다. 장거리 패턴 정보를 전파하기 위해 Eqn에서 aggregation 프로세스를 반복적으로 반복 할 수 있다. (5)식과 같이 지역 패턴을 더 먼 지역으로 전파한다.
구체적으로 다음 행렬 공식으로 재귀 과정을 공식화한다.
마지막으로 여러 단계의 중간 기능을 수집하여 로컬 패턴을 향상시킨다.
4. Inter-Task PSD
동일한 입력에 대해 서로 다른 task pixel-level prediction은 해당 위치에서 유사한 local pattern 구조를 소유하며, 이는 서로 다른 작업을 상호 연관시키는 몇 가지 잠재 신호를 의미한다.
이를 위해, 우리는 교차 작업 패턴 전파를 하기 위해 한 작업에서 다른 작업으로 로컬 패턴 구조를 전송하려고 시도한다.
그림 4에서는 작업 간 패턴 구조 확산의 주요 과정을 보여준다.
아래에서는 세분화를 대상 작업으로 사용하고 다른 두 작업의 정보를 세분화 작업으로 전파한다.
공식적으로 아래의 식과 같이 i 번째 위치에서 패턴을 유도한다.
