源自：應(yīng)用光學(xué)

作者：苗德鄰, 劉磊, 莫涌超, 胡朝龍, 張益軍, 錢蕓生.

“人工智能技術(shù)與咨詢” 發(fā)布

摘要

為了實(shí)現(xiàn)夜間低照度圖像的增強(qiáng)，提高目標(biāo)檢測(cè)模型在夜間低照度條件下的檢測(cè)精度并減小模型的計(jì)算成本，提出了一種基于知識(shí)蒸餾和數(shù)據(jù)增強(qiáng)的夜間低照度圖像增強(qiáng)以及目標(biāo)檢測(cè)多任務(wù)模型，基于高質(zhì)量圖像模型進(jìn)行知識(shí)蒸餾，利用高質(zhì)量圖像的特征信息指導(dǎo)模型訓(xùn)練，從而使模型在夜間低照度圖像中提取到與高質(zhì)量圖像類似的特征信息。利用這些特征信息可以實(shí)現(xiàn)圖像的對(duì)比度增強(qiáng)、去噪以及目標(biāo)檢測(cè)。實(shí)驗(yàn)結(jié)果表明，提出的蒸餾方法可以提升16.58%的夜間低照度目標(biāo)檢測(cè)精度，且用該方法增強(qiáng)的圖像可以達(dá)到主流的基于深度學(xué)習(xí)的圖像增強(qiáng)的效果。

關(guān)鍵詞

低照度圖像 增強(qiáng)目標(biāo)檢測(cè) 深度學(xué)習(xí) 知識(shí)蒸餾

引 言

近些年來隨著深度學(xué)習(xí)理論的發(fā)展以及計(jì)算機(jī)計(jì)算性能的提升，目標(biāo)檢測(cè)和追蹤技術(shù)已經(jīng)廣泛應(yīng)用于智能監(jiān)控、自動(dòng)及輔助駕駛、信息安全系統(tǒng)等諸多領(lǐng)域；但是這些技術(shù)在現(xiàn)實(shí)環(huán)境下仍然面臨很多問題，由于圖像通常無法在最優(yōu)的光條件下獲取，往往會(huì)受到不可避免的環(huán)境因素如背光、非均勻照明、夜間微光等，以及技術(shù)限制如不足的曝光時(shí)間和過低的增益等影響，這類圖像的視覺質(zhì)量較差，目標(biāo)檢測(cè)和識(shí)別的精度遠(yuǎn)低于高質(zhì)量圖像。考慮到大多數(shù)目標(biāo)檢測(cè)模型都是基于高質(zhì)量圖像數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試的，如RCNN(region convolutional neural network)[1]、 YOLO(you only look once)[2]、SSD(single shot multi-box detector)[3]等，采用先對(duì)原始低照度圖像進(jìn)行圖像增強(qiáng)的方式提高目標(biāo)檢測(cè)的精度是一種最簡(jiǎn)便的方式。LLNet(low-light net)[4]、MBLLEN(multi-branch low-light enhancement network)[5]等端到端的低照度圖像增強(qiáng)工作已經(jīng)證明了利用神經(jīng)網(wǎng)絡(luò)提升低照度圖像質(zhì)量的可能性。同時(shí)，學(xué)者們也注意到Retinex模型在傳統(tǒng)的低照度圖像增強(qiáng)以及圖像去霧中有著不俗的表現(xiàn)，由此出現(xiàn)了基于利用神經(jīng)網(wǎng)絡(luò)來估計(jì)Retinex中的照明分量以及反射分量的方法，如Retinex-Net[6]、LightenNet[7]等，都能起到很好的增強(qiáng)效果以及自適應(yīng)性。為了實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的泛用性，很多研究者采集構(gòu)建了一系列低照度場(chǎng)景數(shù)據(jù)集，包括SID(see-in-the-dark)[8]、 LOL(low-light)[9]等。除此之外，基于非匹配數(shù)據(jù)和非監(jiān)督學(xué)習(xí)的方法也被應(yīng)用在低照度圖像增強(qiáng)中，如EnlightenGAN(enlighten generative adversarial networks)[10]，還有一些基于零樣本學(xué)習(xí)的方法，例如zero-DCE(zero-reference deep curve estimation) [11]等，這種方法具有很低的數(shù)據(jù)成本以及極高的訓(xùn)練和推理速度。

上述低照度圖像增強(qiáng)模型主要以人為的標(biāo)準(zhǔn)進(jìn)行優(yōu)化，即使在一些圖像評(píng)價(jià)指標(biāo)上表現(xiàn)出色，也很難對(duì)下游的目標(biāo)檢測(cè)任務(wù)起到很好的精度提升效果。不僅如此，先增強(qiáng)后檢測(cè)的方法還會(huì)增加在邊緣設(shè)備上部署的計(jì)算力需求。受到KRUTHIVENTI S S S等人[12]和QI L等人[13]的啟發(fā)，本文提出了一種新的基于知識(shí)蒸餾的目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，不同于一些典型的知識(shí)蒸餾算法通過蒸餾大模型的知識(shí)來訓(xùn)練小模型[14]，該方法通過構(gòu)建一組像素級(jí)對(duì)齊的高質(zhì)量和低照度圖像對(duì)數(shù)據(jù)集，利用高質(zhì)量圖像的特征信息指導(dǎo)網(wǎng)絡(luò)模型學(xué)習(xí)從相應(yīng)的低照度圖像中提取類似的信息，可以有效提高在夜間低照度環(huán)境或其他復(fù)雜條件下的低質(zhì)量圖像的目標(biāo)檢測(cè)精度。為了便于人眼對(duì)目標(biāo)檢測(cè)結(jié)果進(jìn)行觀察，本文創(chuàng)新性地在原有的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型框架上，引入了用于圖像增強(qiáng)的增強(qiáng)解碼器，其主要作用是利用目標(biāo)檢測(cè)主干網(wǎng)絡(luò)的特征恢復(fù)出高質(zhì)量圖像，最終可以在一個(gè)模型上同時(shí)實(shí)現(xiàn)圖像的增強(qiáng)和目標(biāo)檢測(cè)。

1. 基于知識(shí)蒸餾的低照度圖像增強(qiáng)和目標(biāo)檢測(cè)算法

本文設(shè)計(jì)了一種結(jié)合目標(biāo)檢測(cè)和低照度圖像增強(qiáng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以巧妙地將目標(biāo)檢測(cè)和圖像增強(qiáng)的算法集合在同一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型中。模型整體可以分為3部分：負(fù)責(zé)提取圖像特征信息的主干網(wǎng)絡(luò)；通過提取的多尺度特征進(jìn)行圖像重建的低照度增強(qiáng)解碼器；識(shí)別圖像特征信息并判斷圖像中目標(biāo)位置和類別的目標(biāo)檢測(cè)模塊。圖1展示了教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)以及蒸餾的位置，其中教師網(wǎng)絡(luò)的輸入為高質(zhì)量圖像，通過預(yù)訓(xùn)練使教師網(wǎng)絡(luò)學(xué)習(xí)利用高質(zhì)量圖像的特征信息進(jìn)行目標(biāo)檢測(cè)；學(xué)生網(wǎng)絡(luò)的輸入為低照度圖像，通過蒸餾教師網(wǎng)絡(luò)提取的高質(zhì)量圖像的特征信息進(jìn)行訓(xùn)練，使學(xué)生網(wǎng)絡(luò)可以在低照度圖像上提取出類似于教師網(wǎng)絡(luò)在高質(zhì)量圖像上提取的信息，并利用這些信息進(jìn)行后續(xù)的目標(biāo)檢測(cè)和圖像增強(qiáng)。由于目標(biāo)檢測(cè)和圖像增強(qiáng)都需要利用主干網(wǎng)絡(luò)所提取的特征信息，類似于文獻(xiàn)[13]在特征金字塔上進(jìn)行蒸餾的方法無法使學(xué)生網(wǎng)絡(luò)直接學(xué)習(xí)到教師網(wǎng)絡(luò)更淺層的特征信息，而這些淺層的信息對(duì)圖像的增強(qiáng)有很大作用[10]，故為了通過知識(shí)蒸餾來實(shí)現(xiàn)多任務(wù)模型的訓(xùn)練，最終選擇了在目標(biāo)檢測(cè)主干網(wǎng)絡(luò)上進(jìn)行蒸餾。

圖 1 圖像增強(qiáng)和目標(biāo)檢測(cè)雙任務(wù)模型結(jié)構(gòu)以及知識(shí)蒸餾示意圖

1.1 主干網(wǎng)絡(luò)結(jié)構(gòu)

在目標(biāo)檢測(cè)中，主干網(wǎng)絡(luò)通常用于提取輸入圖像的特征，而這一部分功能和上游的圖像分類網(wǎng)絡(luò)功能相近，往往會(huì)選擇成熟的圖像分類模型作為主干網(wǎng)絡(luò)。同時(shí)在底層視覺任務(wù)如圖像降噪，圖像超分辨率以及圖像復(fù)原等網(wǎng)絡(luò)模型中，往往會(huì)采用一種編碼器-解碼器的結(jié)構(gòu)，即先對(duì)輸入圖像進(jìn)行特征提取或者稱為編碼過程，然后根據(jù)各級(jí)特征進(jìn)行恢復(fù)或者稱為解碼過程。其中編碼器往往會(huì)采用與圖像分類模型類似的結(jié)構(gòu)，因此在目標(biāo)檢測(cè)和圖像增強(qiáng)任務(wù)中使用同一個(gè)主干提取網(wǎng)絡(luò)是具有可行性的。

如圖1所示，主干特征提取網(wǎng)絡(luò)框架基于CSPDarknet主干網(wǎng)絡(luò)實(shí)現(xiàn)，并采用了 YoloX[15]對(duì)CSPDarknet做出的一些改進(jìn)，諸如采用聚焦（Focus）來對(duì)輸入圖像進(jìn)行降采樣，通過調(diào)整CSPDarknet的卷積層深度和寬度實(shí)現(xiàn)更輕量化的網(wǎng)絡(luò)模型等。

CSPDarknet可以分成5個(gè)階段，每個(gè)階段分別提取出不同尺度的特征信息，對(duì)于一個(gè)分辨率為W×H 的輸入圖像而言，5個(gè)階段的輸出尺寸分別為W/2×H/2、W/4×H/4、W/8×H/8、W/16×H/16、W/32×H/32 。在目標(biāo)檢測(cè)網(wǎng)絡(luò)中，最后3個(gè)階段的輸出會(huì)作為目標(biāo)特征進(jìn)行多尺度特征金字塔融合，而對(duì)于圖像增強(qiáng)，我們并不需要遠(yuǎn)小于原始分別率的圖像特征，通常只會(huì)利用前3個(gè)階段的輸出結(jié)果進(jìn)行解碼恢復(fù)。綜合而言，只需要保證學(xué)生網(wǎng)絡(luò)第3階段的輸出與教師網(wǎng)絡(luò)相似，就可以很大程度上實(shí)現(xiàn)對(duì)教師網(wǎng)絡(luò)的蒸餾。

1.2 低照度增強(qiáng)解碼器

與目標(biāo)檢測(cè)不同，圖像復(fù)原模型并不是一個(gè)概率模型，所需要的特征信息相較于目標(biāo)檢測(cè)任務(wù)也更多，僅通過一個(gè)尺度的特征信息生成的圖像無法滿足需求?；赨-net[16]架構(gòu)的圖像增強(qiáng)模型在各個(gè)底層視覺任務(wù)中都有優(yōu)秀的表現(xiàn)，因此基于U-net的結(jié)構(gòu)設(shè)計(jì)了低照度增強(qiáng)解碼器。

如圖2所示，圖像增強(qiáng)模塊利用了主干網(wǎng)絡(luò)中的前3個(gè)階段的特征圖，其尺寸分別為W/2×H/2 、W/4×H/4 和W/8×H/8 。整體采用了類似U-net的網(wǎng)絡(luò)結(jié)構(gòu)，通過跳躍連接將不同尺度的特征信息進(jìn)行融合，并通3個(gè)上采樣以及卷積層將圖像的重建為W×H×3 的RGB（red-green-blue）圖像。其中上采樣操作由若干個(gè)殘差塊以及一個(gè)反卷積構(gòu)成，具體結(jié)構(gòu)如圖2(b)所示，殘差塊的主體部分由兩個(gè)3×3卷積層構(gòu)成，殘差邊不做任何處理，直接將殘差塊的輸入和輸出相加得到結(jié)果。經(jīng)過若干次殘差塊后，經(jīng)過一次3×3的反卷積進(jìn)行上采樣，得到分辨率翻倍、通道數(shù)減半的輸出結(jié)果。在經(jīng)過上采樣塊處理后，輸出結(jié)果與主干網(wǎng)絡(luò)中尺度相對(duì)應(yīng)的特征層進(jìn)行相加，作為下一個(gè)上采樣塊的輸入。經(jīng)過3次上采樣后，特征張量通過一次3×3卷積輸出一個(gè)通道數(shù)為3的RGB圖像。

圖 2 低照度圖像增強(qiáng)模塊結(jié)構(gòu)圖

1.3 目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測(cè)結(jié)構(gòu)由空間金字塔網(wǎng)絡(luò)(SPN) [17]、特征金字塔網(wǎng)絡(luò)和解耦目標(biāo)檢測(cè)頭構(gòu)成?？臻g金字塔用于在低尺度下生成并融合不同尺度的特征，特征金字塔主要用于融合主干特征提取網(wǎng)絡(luò)不同尺度的特征，使目標(biāo)檢測(cè)頭能從多尺度多語義層次的信息中進(jìn)行檢測(cè)，以達(dá)到更好的檢測(cè)精度。不同于標(biāo)準(zhǔn)YoloX模型的FPN(feature pyramid network)特征金字塔網(wǎng)絡(luò)，本文采用了PAN(path aggregation network)特征金字塔[18]，不僅通過低尺度特征信息上采樣融合到高尺度特征上，還通過下采樣將高尺度信息往低尺度上融合。

檢測(cè)部分采用無錨點(diǎn)的目標(biāo)檢測(cè)方法，且將分類和回歸的任務(wù)進(jìn)行解耦，不再通過先驗(yàn)知識(shí)設(shè)定錨點(diǎn)框輸出預(yù)測(cè)框相對(duì)于錨點(diǎn)框的位置和形狀偏移，而是直接預(yù)測(cè)相對(duì)于每個(gè)網(wǎng)格的位置偏移以及預(yù)測(cè)框的高度和寬度。

1.4 多任務(wù)訓(xùn)練的損失函數(shù)

本文方法涉及到的損失函數(shù)包含3部分，目標(biāo)檢測(cè)損失、圖像增強(qiáng)損失以及知識(shí)蒸餾損失。其中目標(biāo)檢測(cè)部分和YoloX一樣由3個(gè)部分組成，預(yù)測(cè)框區(qū)域損失、目標(biāo)置信度損失以及目標(biāo)類別損失。

預(yù)測(cè)框區(qū)域損失，即獲取到每個(gè)框?qū)?yīng)的特征點(diǎn)后，取出該特征點(diǎn)的預(yù)測(cè)框，利用真實(shí)框和預(yù)測(cè)框計(jì)算IoU(intersection over union)損失：

(1)

(2)

式中Bpre和Bgt 分別代表預(yù)測(cè)框和真實(shí)框的區(qū)域。

目標(biāo)置信度損失和目標(biāo)類別損失的表示形式是相同的，即：

(3)

式中：Ppre 和Pgt 分別代表預(yù)測(cè)的概率和真實(shí)的概率；w 為每個(gè)類別損失函數(shù)的權(quán)重。

對(duì)于圖像增強(qiáng)等底層視覺任務(wù)，最常使用的是L1 距離或者L2 距離損失。L1 損失在對(duì)于輸入和輸出差距較大時(shí)不會(huì)有過大的梯度，在圖像降噪任務(wù)中應(yīng)用廣泛，而L2 損失常出現(xiàn)在圖像超分辨率以及圖像復(fù)原任務(wù)中。低照度圖像增強(qiáng)既要進(jìn)行圖像信息的恢復(fù)，也要想辦法去除圖像中的噪聲，因此本文采用結(jié)合兩種損失函數(shù)優(yōu)點(diǎn)的smoothL1損失作為圖像增強(qiáng)目標(biāo)的損失函數(shù)，即：

(4)

式中：y為參考圖像；x為模型增強(qiáng)后的圖像。由于學(xué)生網(wǎng)絡(luò)和和教師網(wǎng)絡(luò)采用的是完全相同的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于兩個(gè)網(wǎng)絡(luò)而言，每一層對(duì)應(yīng)的特征層輸出的尺度是完全相同的。因此，無需對(duì)兩個(gè)網(wǎng)絡(luò)的特征層進(jìn)行任何其他處理，只需要求兩個(gè)特征層輸出的距離即可。最小化教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)特征層差異可以表示為最小化以下函數(shù)：

(5)

式中

和

分別代表教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)特征金字塔的輸出特征張量。通過這種簡(jiǎn)單的損失函數(shù)可以使學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)在不同尺度的特征層都以相同的程度趨于一致，然而考慮到教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)輸入圖像特性的差異，本文采用了一種針對(duì)不同尺度特征進(jìn)行調(diào)整的損失函數(shù)進(jìn)行優(yōu)化，對(duì)于靠近輸入端的特征層，采用更低的優(yōu)化權(quán)重，即：

(6)

最終的損失函數(shù)可以表示為

(7)

2. 實(shí)驗(yàn)評(píng)估

2.1 數(shù)據(jù)集的構(gòu)建

若想實(shí)現(xiàn)高質(zhì)量正常照度目標(biāo)檢測(cè)知識(shí)向低照度低信噪比目標(biāo)檢測(cè)的遷移，就必須獲得完全對(duì)齊的高質(zhì)量正常照度目標(biāo)圖像和低信噪比低照度目標(biāo)圖像對(duì)。本文采用生成對(duì)抗網(wǎng)絡(luò)以及低照度下均勻面真實(shí)噪聲疊加的方式進(jìn)行數(shù)據(jù)對(duì)的構(gòu)造。

通常可以認(rèn)為一幅圖像是由圖像信號(hào)和無關(guān)的噪聲組成的，即：

(8)

式中：Ii,j 為圖像；si,j 為信號(hào)；ni,j 為噪聲。一般情況下，信號(hào)的大小是大于噪聲的大小的。但對(duì)于低照度下的均勻面而言，相比一個(gè)頻率很低的低頻信號(hào)，圖像可以看作是以信號(hào)為均值上下波動(dòng)的一個(gè)隨機(jī)過程。這種情況下，si,j 可以通過均值濾波提取低頻的方式得到，然后將噪聲的均值調(diào)整為0，最終提取出來的噪聲可以表示為

(9)

最后利用非匹配的低照度圖像數(shù)據(jù)集以及正常高質(zhì)量圖像數(shù)據(jù)集對(duì)循環(huán)生成對(duì)抗神經(jīng)網(wǎng)絡(luò)（cycle generative adversarial networks，CycleGAN）[19]進(jìn)行訓(xùn)練，得到一個(gè)能夠?qū)⒄Ｕ斩葓D像轉(zhuǎn)換為具有夜間低照度特性的圖像的生成器G(x) 。將從均勻面上提取出來的噪聲疊加在生成的低照度特性圖像上就得到了訓(xùn)練所需要的低照度-高質(zhì)量目標(biāo)檢測(cè)圖像對(duì)數(shù)據(jù)集。

(10)

2.2 訓(xùn)練環(huán)境

CycleGAN具有獨(dú)特的循環(huán)訓(xùn)練機(jī)制，可以實(shí)現(xiàn)非匹配的數(shù)據(jù)集之間的相互轉(zhuǎn)換。為了訓(xùn)練出可以將正常高質(zhì)量圖像轉(zhuǎn)換為具有夜間低照度特性的圖像，本文采集了1 550張包含行人、車輛等目標(biāo)的真實(shí)夜間低照度圖像，同時(shí)在ImageNet[20]和COCO數(shù)據(jù)集中收集了大量高質(zhì)量的正常照度圖像2 480張。利用這些夜間低質(zhì)量圖像數(shù)據(jù)集和收集到的高質(zhì)量圖像組成非匹配的數(shù)據(jù)集，對(duì)CycleGAN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。利用訓(xùn)練得到的高質(zhì)量圖像-夜間低照度圖像轉(zhuǎn)換模型和公開的PASCAL VOC目標(biāo)檢測(cè)數(shù)據(jù)集，生成了共9 963組帶標(biāo)簽的夜間低照度-正常高質(zhì)量圖像對(duì)。

同時(shí)，為了降低圖像的信噪比，對(duì)夜間的地面、墻體等均勻面場(chǎng)景進(jìn)行采集，構(gòu)建了共10組不同照度分辨率為1 920×1 080像素的均勻面圖像視頻序列，然后從這些視頻中隨機(jī)提取噪聲疊加到生成的9 963組圖像對(duì)中，將這9963組數(shù)據(jù)中的三分之一即共2 989對(duì)圖像劃分為驗(yàn)證集，其余6 974對(duì)圖像劃分為訓(xùn)練集。

訓(xùn)練過程分為3步，首先利用原始高質(zhì)量的PASCAL VOC數(shù)據(jù)集訓(xùn)練教師網(wǎng)絡(luò)，然后利用知識(shí)蒸餾的方式對(duì)學(xué)生網(wǎng)絡(luò)的主干網(wǎng)絡(luò)和目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行200輪的訓(xùn)練，學(xué)習(xí)率為2×10?4，且采用余弦退火法進(jìn)行學(xué)習(xí)率的下降。隨后凍結(jié)主干網(wǎng)絡(luò)，利用圖像對(duì)對(duì)低照度圖像增強(qiáng)解碼器進(jìn)行訓(xùn)練50輪，學(xué)習(xí)率為1×10?4 ，然后進(jìn)行學(xué)習(xí)率線性下降至0的方法再次訓(xùn)練50輪。本次實(shí)驗(yàn)基于Nvidia RTX 2080Ti GPU進(jìn)行訓(xùn)練。

2.3 圖像增強(qiáng)效果

本文通過在真實(shí)低照度數(shù)據(jù)集LOL數(shù)據(jù)集上的峰值信噪比（peak signal-to-noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity，SSIM）指標(biāo)來驗(yàn)證網(wǎng)絡(luò)模型在低照度圖像增強(qiáng)任務(wù)上的效果，同時(shí)利用自然圖像質(zhì)量評(píng)價(jià)器（natural image quality evaluator，NIQE） [21]對(duì)比驗(yàn)證模型在真實(shí)低照度場(chǎng)景下的增強(qiáng)效果，其中NIQE值越低代表圖像質(zhì)量評(píng)價(jià)越高，PSNR和SSIM值越高代表圖像越接近參考圖像。進(jìn)行對(duì)比的方法包括EnlightenGAN、Zero-DCE以及CycleGAN，結(jié)果如表1所示。

表 1 不同方法的圖像質(zhì)量評(píng)價(jià)

從對(duì)比結(jié)果來看，本文的方法在NIQE指標(biāo)上接近EnlightenGAN的水平，且明顯超過了Zero-DCE和CycleGAN的效果，同時(shí)該方法在PSNR和SSIM指標(biāo)上均優(yōu)于EnlightenGAN。證明了該方法在低照度圖像增強(qiáng)上具有可行性。

本文還對(duì)4種方法處理的圖像質(zhì)量進(jìn)行了對(duì)比和主觀判斷，對(duì)比結(jié)果如圖3所示。其中第1列展示了原始的低照度夜間圖像，第2～5列分別為EnlightenGAN、Zero-DCE、CycleGAN以及本文方法處理的結(jié)果。

圖 3 不同方法的低照度圖像增強(qiáng)效果對(duì)比

可以看出，本文方法對(duì)夜間低照度圖像具有明顯的對(duì)比度和動(dòng)態(tài)范圍增強(qiáng)以及降噪的效果。通過對(duì)比可以發(fā)現(xiàn)，其余3種方法處理的結(jié)果都有較為明顯的噪聲殘留，而本文在構(gòu)造的訓(xùn)練數(shù)據(jù)集中疊加了真實(shí)的噪聲，可以使神經(jīng)網(wǎng)絡(luò)模型具有一定的降噪效果。

2.4 檢測(cè)精度

為了驗(yàn)證知識(shí)蒸餾對(duì)夜間低照度場(chǎng)景下的目標(biāo)檢測(cè)精度提升的效果，采用本文所構(gòu)建的驗(yàn)證集中2 989張圖像以及公開的夜間低照度目標(biāo)檢測(cè)數(shù)據(jù)集ExDark[22]中的2 194張夜間低照度圖像的平均精確度（mean of average precision, mAP）作為檢測(cè)精度的評(píng)估指標(biāo)，并與正常照度下的精度以及未采用知識(shí)蒸餾的精度進(jìn)行對(duì)比，其中mAP計(jì)算的IoU閾值為50%。結(jié)果如表2、圖4～圖5所示。

表 2 不同方法的目標(biāo)檢測(cè)精度

圖 4 在真實(shí)低照度圖像數(shù)據(jù)集中的mAP指標(biāo)測(cè)試結(jié)果

圖 5 低照度圖像增強(qiáng)和目標(biāo)檢測(cè)測(cè)試結(jié)果

從測(cè)試結(jié)果整體上來看，采用知識(shí)蒸餾的方式可將在構(gòu)造數(shù)據(jù)集下的夜間低照度目標(biāo)的檢測(cè)精度提高16.58%，在真實(shí)數(shù)據(jù)集下的目標(biāo)檢測(cè)精度提高18.15%，且對(duì)每一種目標(biāo)的精度都有所提升，尤其是對(duì)車輛等交通工具的識(shí)別精度提升最大。在真實(shí)低照度圖像的測(cè)試中還發(fā)現(xiàn)，一些小目標(biāo)以及在光源附近的目標(biāo)很容易出現(xiàn)漏檢的情況，這可能是由于訓(xùn)練數(shù)據(jù)對(duì)中缺少真實(shí)燈光，尤其是多個(gè)光源場(chǎng)景下的數(shù)據(jù)所導(dǎo)致的。

3. 結(jié)論

本文設(shè)計(jì)了一種可以同時(shí)進(jìn)行夜間低照度圖像增強(qiáng)以及目標(biāo)檢測(cè)任務(wù)的神經(jīng)網(wǎng)絡(luò)模型，合成構(gòu)造了具有夜間低照度特性的圖像數(shù)據(jù)集，利用特征知識(shí)蒸餾的方式對(duì)網(wǎng)絡(luò)模型訓(xùn)練。在數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文的方法具有可行性，能夠有效提升夜間低照度下的目標(biāo)檢測(cè)精度，圖像增強(qiáng)效果也能夠達(dá)到甚至優(yōu)于一些主流方法。此外該方法還可以有效提升高噪聲低照度圖像的信噪比，產(chǎn)生對(duì)人眼視覺友好的增強(qiáng)圖像，多任務(wù)共享主干的結(jié)構(gòu)還有效降低了計(jì)算成本。未來的工作將探索實(shí)現(xiàn)在利用高質(zhì)量圖像訓(xùn)練的大模型上進(jìn)行低照度、小模型的蒸餾。利用對(duì)抗模型進(jìn)行無監(jiān)督訓(xùn)練也是進(jìn)一步提升圖像質(zhì)量的探索方向。

聲明:公眾號(hào)轉(zhuǎn)載的文章及圖片出于非商業(yè)性的教育和科研目的供大家參考和探討，并不意味著支持其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。版權(quán)歸原作者所有，如轉(zhuǎn)載稿涉及版權(quán)等問題，請(qǐng)立即聯(lián)系我們刪除。

“人工智能技術(shù)與咨詢” 發(fā)布