[논문 리뷰] Object-Based Classification Framework of Remote Sensing Images With Graph Convolutional Networks

Quick Look
Authors: Xiaodong Zhang, Member, IEEE, Xiaoliang Tan , Guanzhou Chen , Member, IEEE, Kun Zhu , Puyun Liao, and Tong Wang

Date Published : 22 April 2021

Paper Link : https://ieeexplore.ieee.org/document/9411513

Tags: Classification, Geoscience

Main Takeaway(s): 기존 OBIC 방법들은 각 객체의 개별 특징에만 집중하고, 인접 객체 간의 관계나 정보를 충분히 활용하지 못하는 한계가 있었다.
이를 해결하기 위해 GCN을 도입하여 객체 간의 인접성을 반영한 모델을 제안했으며, 그 결과 기존 CNN 모델보다 적은 계산 비용으로 유사하거나 더 높은 정확도를 달성하였다.

---

Paper summary (What)
spectral graph 이론에서 영감을 받아 객체 간의 상대성을 최대한 활용해 정확도를 높이는 것을 목표로 한다.

Issues addressed by the paper (Why)
기존의 객체 기반 이미지 분류(OBIC)는 각 객체 자체의 특징에만 초점을 맞추고 있다. 이는, 분류 정확도가 낮게 나오는 결과를 내는데, 인접한 물체 간의 맥락(관계) 정보를 무시하는 것이 원인이 된다.

Detailed Information (How)
이미지의 객체로부터 graph 구조를 만들고, 특이값분해(tSVD)와 OBIC-GCN이라는 GCN 모델을 구축해 새로운 framework를 제안한다.

RS OBIC에 GCN 모델을 도입하고 graph 구조를 구성한다.
2)OBIC-GCN을 기반으로 한 framework를 제안한다.

---

Problem Setting
classification

[ 평가 방식 ]
두 dataset에 대해 OBIC method로, 튜닝된 내부 하이퍼파라미터와 외부 비교를 진행했다. 서로 다른 segmentation으로 인한 영향을 제거하기 위해 OA, F1, K 점수를 사용해 성능을 평가하였다.

OA(Overall Accuracy) : 전체 데이터 중에 올바르게 분류된 비율 (=전체 정확도)
F1 : F1 점수는 모델의 정밀도(Precision)와 재현율(Recall)을 평균화한 값.
K : 분류기의 성능을 무작위 추측과 비교. 1에 가까울 수록 높은 성능이며, 0은 무작위 추측과 같은 성능, 음수는 무작위 추측보다도 낮은 성능을 나타냄(정반대)

Methodology
A. 그래프 구성 및 특징 추출

이미지를 구별 가능한 객체로 분할
그래프를 기반으로 한 스패닝 트리 알고리즘(GBS)처럼 자동적인 분할 알고리즘도 있고, 수동적인 알고리즘도 있다.
특징 추출
각 객체의 특징을 추출한다. 해당 논문에서는 3가지 유형의 저수준 특징(스펙트럼 특징, 공간 특징, 텍스처 특징)을 사용하여 각 객체를 설명하였다.
객체 간 인접성 추출
A-1에서 얻은 결과를 그래프를 구성하는데 사용해 GCN에 인접성 정보를 제공한다. 객체 간의 인접성을 설명하는 그래프 구조는 A-1을 기반으로 nxn행렬을 설정한다.
n은 segment화된 객체의 수를 나타난다. 시작점은 세분화 결과의 픽셀을 기준으로 현재 처리된 객체 ID와 오른쪽, 아래쪽, 왼쪽 아래, 오른쪽 아래 인접 픽셀의 ID를 비교한다.
현재 ID와 인접한 ID가 다른 경우 1로 설정된다. 모든 픽셀값이 정해지면 최종 인접 행렬을 얻을 수 있다.
B. 특징 행렬을 위한 tSVD 차원 축소
A-2에서 추출한 특징을 바탕으로 segment화된 객체의 특징 행렬을 구성한다. n(object)*n(feature). 각 열은 각 객체의 모든 특징을 포함해야 한다.

C. OBIC-GCN 모델을 통한 객체 분류
인접행렬과 그래프의 차원 축소 특징 행렬을 기반으로, 입력 레이어가 쌓인 순차적인 그래프를 기반으로 하는 OBIC-GCN 모델을 구축한다.

D. OBIC-GCN 전체 framework
자동 또는 수동으로 이미지를 여러 요소로 분할한 다음 특징 추출 및 그래프 구조 구성에 사용되는 프로세스를 수행한다.
생성된 특징 행렬 F는 tSVD차원 축소를 통해 처리되어 인접성과 결합된 OBIC-GCN 모델의 입력으로 활용된다. 학습된 모델은 입력 그래프와 객체 특징에 대해 예측을 하고 최종적으로 분류 결과를 출력하게 된다.

Assumptions
OBIC(객체 기반 영상 분류)의 한계 가정: 기존 OBIC 방법들이 각 객체의 특징만을 중점적으로 다루고, 인접 객체 간의 관계나 문맥 정보를 충분히 활용하지 못한다는 가정이 제시되었다.
객체 간의 관계나 공간적 문맥은 실제 지리적 분류에서 중요한 역할을 하며, 이를 배제할 경우 분류 정확도가 낮아질 수 있기 때문에, 이 가정은 유효하다 할 수 있다.

OBIC-GCN의 효율성 가정: OBIC-GCN 모델은 인접 객체의 정보를 활용하는 그래프 구조를 사용함으로써, CNN 기반 방법(SiCNN-4, DiCNN-b)보다 적은 계산 비용으로 유사한 성능을 달성할 수 있다는 가정을 세웠다.
실험 결과에서 해당 모델이 CNN모델(SiCNN-4)보다 약 1/100의 훈련 시간을 소요하면서도 유사한 정확도를 보였음을 통해 이 가정이 입증되었다.

차원 축소 기법의 필요성 가정: tSVD와 같은 차원 축소 기법을 사용하여 큰 크기의 원격 탐사 이미지에서 생성된 객체의 특징 행렬을 처리하는 것이 필요하다는 가정이 있었다. ​
tSVD 감소 없이 훈련된 모델은 가장 많은 훈련 시간이 가장 많이 필요했고 가장 낮은 OA를 생성했다.
차원 축소가 없을 경우 훈련 시간이 크게 증가하고, 축소 후에도 정확도는 유사하거나 더 나아질 수 있음을 실험적으로 증명했다.

Results
주요 실험 결과: 논문에서는 두 개의 원격 탐사 이미지 데이터셋(Anhui 데이터셋과 Fujian 데이터셋)을 사용하여 OBIC-GCN 모델의 성능을 평가했다.
실험 결과, 제안된 OBIC-GCN 모델은 두 데이터셋에서 각각 97.2%와 66.9%의 높은 분류 정확도(OA)를 기록했다. 특히, CNN 기반 방법(SiCNN-4, DiCNN-b)에 비해 1/100의 훈련 시간만 소요하면서도 유사한 정확도를 달성했다.

차원 축소 : tSVD 차원 축소 기법을 적용함으로써, 훈련 시간은 크게 감소하고 정확도는 일정하게 유지되거나 약간 향상되었다.
차원 축소를 하지 않았을 때 훈련 시간이 가장 길었으며(약 175로 차원축소 10 dimention과 크게 차이가 남)
차원 축소 50 차원에서 최적의 성능을 보였다.

그래프 구조를 도입 : OBIC-GCN 모델에서 인접 행렬(A)을 사용하지 않았을 때 정확도가 약 2% 낮아져, 인접 객체 간의 관계 정보를 활용하는 것이 성능 향상에 기여함을 확인할 수 있었다.

차원 축소(tSVD)의 효과 이유 : tSVD를 통해 차원을 축소함으로써 훈련 속도를 높였고, 동시에 주요 특징을 보존하여 성능 저하 없이 모델의 효율성을 극대화할 수 있었다.

그래프 구조 효과 이유 : 인접 객체 간의 관계를 고려한 그래프 구조를 사용함으로써 객체 간의 문맥적 정보를 효율적으로 활용할 수 있었고, 이로 인해 정확도가 향상된 것으로 보인다.

Conclusions
The author's conclusions
OBIC-GCN 프레임워크의 성능은 기존 모델 뿐만 아니라 CNN 기반 방법보다 더 나은 성능을 보였다. (OA, K, F)
훈련 절차가 CNN 기반 모델보다 훨씬 짧으며, 계산 비용은 약 1/100에 불과하다.

My Conclusion
인접 행렬은 물리적인 위치가 아니라 객체 간의 관계를 표현한다는 점이 헷갈렸다.