ICCV2021 |?武漢大學(xué)提出“變化無處不在”單時(shí)相監(jiān)督的變化檢測(cè)器

作者 | 鄭卓 

論文地址: https://arxiv.org/pdf/2108.07002.pdf

項(xiàng)目頁面: https://zhuozheng.top/changestar/

代碼: https://github.com/Z-Zheng/ChangeStar

第一作者主頁：https://zhuozheng.top

該工作是武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室RSIDEA團(tuán)隊(duì)在變化檢測(cè)方面的工作，已被ICCV 2021接收。

針對(duì)成對(duì)雙時(shí)相變化檢測(cè)訓(xùn)練樣本標(biāo)注耗時(shí)、收集困難的問題，提出了一種新穎的弱監(jiān)督學(xué)習(xí)算法STAR (Single-Temporal supervised LeARning)，其利用非成對(duì)單時(shí)相遙感影像構(gòu)造偽雙時(shí)相監(jiān)督信號(hào)，以學(xué)習(xí)變化表征；同時(shí)提出了一種變化檢測(cè)新架構(gòu)ChangeStar，其通過核心模塊ChangeMixin，可將任意語義分割模型轉(zhuǎn)化為變化檢測(cè)器，從而復(fù)用現(xiàn)有的優(yōu)秀架構(gòu)，揭示了語義分割與變化檢測(cè)之間的內(nèi)在聯(lián)系。

實(shí)驗(yàn)表明，單時(shí)相監(jiān)督下的ChangeStar較Baseline取得顯著提升, 在Zero-Shot驗(yàn)證條件下，與強(qiáng)監(jiān)督模型精度差距縮小到10%以內(nèi)；在強(qiáng)監(jiān)督（雙時(shí)相監(jiān)督）的設(shè)定下，基于FarSeg的ChangeStar在LEVIR-CD數(shù)據(jù)集上實(shí)現(xiàn)了state-of-the-art的精度。

1

變化無處不在

我們觀察到，成對(duì)標(biāo)記的位時(shí)圖像的重要性在于，變化檢測(cè)器需要成對(duì)的語義信息來定義對(duì)象變化檢測(cè)的正負(fù)樣本。這些正、負(fù)樣本通常是由兩個(gè)不同時(shí)間的像素在同一地理區(qū)域是否具有不同的語義來決定的。位時(shí)像素的語義控制著標(biāo)簽分配，而位置一致性條件（兩個(gè)時(shí)相的像素應(yīng)處于相同的地理位置）僅用于保證獨(dú)立同分布的訓(xùn)練和推理。可以想象，如果我們松弛位置一致性條件來定義正負(fù)樣本，那么變化是無處不在的，尤其是在未配對(duì)的圖像之間。

2

方法簡(jiǎn)介

2.1 單時(shí)相監(jiān)督學(xué)習(xí)算法STAR: Single-Temporal supervised LeARning

STAR旨在通過帶有語義像素標(biāo)簽的任意圖像對(duì)學(xué)習(xí)一個(gè)可泛化的變化檢測(cè)器。為了實(shí)現(xiàn)這一點(diǎn)，我們構(gòu)造了偽雙時(shí)相圖像對(duì)，松弛了傳統(tǒng)的雙時(shí)相監(jiān)督的變化檢測(cè)學(xué)習(xí)問題，如下式：

其中Xi, Xj為真實(shí)雙時(shí)相圖像對(duì)，對(duì)應(yīng)的Y是其語義像素標(biāo)簽，F(xiàn)為變化檢測(cè)器，為變化檢測(cè)器參數(shù)。將偽雙時(shí)相圖像對(duì)（Xt1, Xt1）替換為真實(shí)雙時(shí)相圖像對(duì)，并重新利用邏輯異或運(yùn)算分配偽雙時(shí)相圖像對(duì)的變化標(biāo)簽，從而將原學(xué)習(xí)問題松弛為下式的僅利用單時(shí)相圖像即可完成的學(xué)習(xí)問題:

偽雙時(shí)相圖像對(duì)：為了利用單時(shí)相圖像提供監(jiān)督信號(hào)，我們提出了一種偽雙時(shí)相圖像對(duì)構(gòu)建技術(shù)，其通過對(duì)一個(gè)訓(xùn)練批次中的圖像Xt1進(jìn)行隨機(jī)排列得到偽第二時(shí)相圖像Xt1，并且保證每個(gè)偽圖像對(duì)中的圖像各不相同。通過觀察可以發(fā)現(xiàn)，偽雙時(shí)相圖像對(duì)的變化標(biāo)簽可用兩張圖像的語義像素標(biāo)簽（one-hot為二值標(biāo)簽）的邏輯異或表示，這樣即可完成偽雙時(shí)相圖像對(duì)的正負(fù)樣本定義。

圖1：模型訓(xùn)練與推理流程

2.2 變化檢測(cè)新架構(gòu)ChangeStar = Any Segmentation Model + ChangeMixin

ChangeStar是一個(gè)簡(jiǎn)單而統(tǒng)一的網(wǎng)絡(luò)，由一個(gè)深度語義分割模型和ChangeMixin模塊組成。這種設(shè)計(jì)的核心思想在于重用現(xiàn)代語義分割架構(gòu)，因?yàn)檎Z義分割和物體變化檢測(cè)都是密集的預(yù)測(cè)任務(wù)。為此，我們?cè)O(shè)計(jì)了ChangeMixin模塊，使任何現(xiàn)成的深度語義分割模型能夠檢測(cè)物體變化。ChangeMixixin模塊由若干卷積層和一個(gè)時(shí)序交換模塊組成，其輸入由分割模型計(jì)算得到的高分辨率語義特征，輸出雙向的變化檢測(cè)圖用于后續(xù)的學(xué)習(xí)與推理。我們?cè)趯?shí)驗(yàn)中發(fā)現(xiàn)，一個(gè)收斂的模型，雙向變化檢測(cè)圖相似度極高，因此在推理階段我們選擇其中一個(gè)方向的變化檢測(cè)圖作為最終預(yù)測(cè)值。

3

主要實(shí)驗(yàn)結(jié)果

這部分展示了所提出方法在不同訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)下的泛化性實(shí)驗(yàn)結(jié)果。對(duì)比方法采用基于深度語義分割模型的分類后比較法，作為單時(shí)相監(jiān)督的基線。實(shí)驗(yàn)結(jié)果表明，所提出的方法可有效提升單時(shí)相監(jiān)督下的變化檢測(cè)性能，具有很好的泛化性能。

同時(shí)為了驗(yàn)證所提出架構(gòu)的有效性，我們?cè)陔p時(shí)相監(jiān)督下訓(xùn)練了ChangeStar模型的各種變體。實(shí)驗(yàn)結(jié)果（表4）表明ChangeStar架構(gòu)對(duì)已有的分割模型具有良好的兼容性，在相同骨干網(wǎng)絡(luò)的情況下可取得更加優(yōu)異的性能。

為了了解單時(shí)相、雙時(shí)相監(jiān)督之間的實(shí)際差距，我們利用相同模型開展了多組對(duì)照實(shí)驗(yàn)，從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)，單時(shí)相監(jiān)督作為一種弱監(jiān)督信號(hào)，與雙時(shí)相監(jiān)督這種強(qiáng)監(jiān)督信號(hào)相比仍有一定差距，但差距隨著骨干網(wǎng)絡(luò)容量的提升而減小，目前F1精度差距最小可縮小到10%以內(nèi)。然而本文提出的方法僅僅是在單時(shí)相監(jiān)督上的初步探索，未來還有更大的改進(jìn)空間，例如使用模型容量更大的transfomer模型作為基礎(chǔ)模型、更大的單時(shí)相監(jiān)督數(shù)據(jù)、更好的單時(shí)相監(jiān)督學(xué)習(xí)策略都是值得未來探索的研究話題。

更多的消融實(shí)驗(yàn)與討論可見原文。

4

總結(jié)

在這項(xiàng)工作中，我們提出了單時(shí)相監(jiān)督學(xué)習(xí)算法（STAR），從而巧妙繞過了傳統(tǒng)的雙時(shí)相監(jiān)督學(xué)習(xí)中收集成對(duì)標(biāo)記數(shù)據(jù)成本高的問題。STAR提供了一個(gè)利用任意圖像對(duì)中的物體變化作為監(jiān)督信號(hào)的新視角。為了證明STAR的有效性，我們?cè)O(shè)計(jì)了一個(gè)簡(jiǎn)單而有效的多任務(wù)架構(gòu)，稱為ChangeStar，用于聯(lián)合語義分割和變化檢測(cè)，它可以通過進(jìn)一步提出的ChangeMixin模塊重新使用任何深度語義分割架構(gòu)。

大量的實(shí)驗(yàn)分析表明，提出的方法可以以較弱監(jiān)督信息學(xué)習(xí)一個(gè)魯棒的變化檢測(cè)器；同樣雙時(shí)相監(jiān)督條件下，超越了目前的state-of-the-art方法。我們希望STAR將作為一個(gè)堅(jiān)實(shí)的基線，在未來服務(wù)于弱監(jiān)督變化檢測(cè)研究。

雷鋒網(wǎng)