李嬋

　　伴隨著城市化進(jìn)程的不斷加快和城市經(jīng)濟(jì)的高速增長(zhǎng)，以及人們安全意識(shí)的不斷提高，對(duì)視頻監(jiān)控的需求越來越強(qiáng)烈，其應(yīng)用場(chǎng)景和使用環(huán)境也越來越豐富。不同的場(chǎng)景需求對(duì)視頻監(jiān)控技術(shù)提出了更高更復(fù)雜的要求，不僅僅要高清，更要智能。顯然已經(jīng)從過去的“看得見”、“看得清”到如今的“更好看”、“更易看”。

“更好看”——對(duì)視頻圖像處理技術(shù)的更高要求

　　就像對(duì)手機(jī)拍照像素需求的與日俱增一樣，人們現(xiàn)今已經(jīng)很難再接受分辨率低、噪聲大、動(dòng)態(tài)范圍低的視頻圖像了。這不僅要求安防企業(yè)在光學(xué)部件的選擇上不斷追求更高的品質(zhì)，在視頻圖像處理技術(shù)上更是不能落后。目前主流的視頻圖像處理技術(shù)都在與時(shí)俱進(jìn)，以滿足用戶不斷變化的需求，這里介紹一下當(dāng)今比較熱門、比較前沿的圖像處理技術(shù)的發(fā)展情況。

低照技術(shù)示意圖

一、低照技術(shù)

　　這只是一個(gè)很籠統(tǒng)的稱呼，對(duì)低照表現(xiàn)的要求是指在缺少光照的環(huán)境條件下仍然能展現(xiàn)出清晰明亮、色彩豐富、較低噪聲的視頻圖像，宇視星光級(jí)相機(jī)就是在這種需求下應(yīng)運(yùn)而生的。該技術(shù)不僅對(duì)傳感器、鏡頭的品質(zhì)有很高的要求，還涵蓋了ISP（圖像信號(hào)處理）中的夜間圖像增強(qiáng)、2D 降噪、3D 降噪等技術(shù)， 同時(shí)如何權(quán)衡以上功能，以得到最優(yōu)質(zhì)的畫面表現(xiàn)，也是對(duì)ISP 調(diào)校技術(shù)的考驗(yàn)。

二、寬動(dòng)態(tài)技術(shù)

　　寬動(dòng)態(tài)技術(shù)可以分為數(shù)字寬動(dòng)態(tài)和多幀寬動(dòng)態(tài)兩種。數(shù)字寬動(dòng)態(tài)是指，對(duì)單幀圖像利用色調(diào)映射技術(shù)使得畫面的暗區(qū)和亮區(qū)同時(shí)能夠看清，即增大圖像動(dòng)態(tài)范圍。而多幀寬動(dòng)態(tài)則是通過對(duì)同一場(chǎng)景獲取多幀曝光程度不同的圖像，然后利用圖像融合和運(yùn)動(dòng)估計(jì)技術(shù)，將多幀畫面合成一幅，以達(dá)到同樣的目的。由于多幀寬動(dòng)態(tài)獲得的信息較單幀多，因此通常情況下可以獲得更大的動(dòng)態(tài)范圍，和更自然的視覺感觀。

數(shù)字寬動(dòng)態(tài)處理前（左）和處理后對(duì)比

多幀寬動(dòng)態(tài)處理前（左）和處理后對(duì)比

三、去模糊技術(shù)

　　品質(zhì)再高清的相機(jī)，也可能由于人為拍攝的原因或者被拍攝物體本身的運(yùn)動(dòng)而導(dǎo)致模糊，分為失焦模糊和運(yùn)動(dòng)模糊兩種情況。模糊本身在數(shù)學(xué)上來說，是清晰圖像與擴(kuò)散函數(shù)卷積的結(jié)果，因此去模糊就是一個(gè)逆卷積的過程，失焦模糊和運(yùn)動(dòng)模糊的主要差別是擴(kuò)散函數(shù)形式上的差異。

失焦模糊處理前（左）和處理后對(duì)比

運(yùn)動(dòng)模糊處理前（左）和處理后對(duì)比

四、透霧增強(qiáng)技術(shù)

　　視頻圖像透霧增強(qiáng)技術(shù)，一般指將因霧氣、水氣和灰塵等導(dǎo)致畫面朦朧不清的因素去除，使畫面重新變得清晰通透，恢復(fù)原有的色調(diào)、飽和度，獲得了良好的圖像質(zhì)量與視覺感受。宇視的透霧技術(shù)，已不再局限于簡(jiǎn)單的對(duì)比度增強(qiáng)而已，而是通過對(duì)霧霾濃度建模，獲得大氣分布情況，進(jìn)而有針對(duì)性的去除，保持畫面自然，并且不會(huì)丟失任何有用信息。

基于大氣模型的透霧技術(shù)與對(duì)比度增強(qiáng)技術(shù)對(duì)比示意圖

　　另外值得一提的是，與利用圖像處理算法進(jìn)行透霧增強(qiáng)技術(shù)各有所長(zhǎng)的，還有宇視的光學(xué)透霧技術(shù)。其原理主要是利用近紅外波段對(duì)大氣的穿透性要優(yōu)于可見光波段，因而能在濃霧霾情況下，獲得可見光圖像所獲取不到的信息。

光學(xué)透霧處理前（左）和處理后對(duì)比

五、超分辨率重建技術(shù)

　　提高圖像分辨率最直接的辦法就是提高采集設(shè)備的傳感器密度，然而高密度的圖像傳感器價(jià)格相對(duì)昂貴，在一般的應(yīng)用中難以承受，同時(shí)傳感器陣列密度目前也已接近極限。解決這一問題的有效途徑是采用基于信號(hào)處理的軟件方法對(duì)圖像的空間分辨率進(jìn)行提高，超分辨率重建技術(shù)可以分為單幀超分辨率重建和多幀超分辨率重建。單幀超分辨率通常是利用學(xué)習(xí)的方法對(duì)低分辨率圖像進(jìn)行恢復(fù)；多幀超分辨率的核心思想是用時(shí)間帶寬（獲取同一場(chǎng)景的多幀圖像序列）換取空間分辨率，實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。

“更易看”——減少使用者的工作量，智能必不可少

　　近幾年來隨著監(jiān)控行業(yè)的發(fā)展以及平安城市等大型工程的建設(shè)， 成千上萬(wàn)的視頻圖像給廣大工作人員帶來無(wú)力管理和監(jiān)看等問題。應(yīng)用智能分析技術(shù)對(duì)視頻畫面中的海量數(shù)據(jù)進(jìn)行高速分析， 過濾掉用戶不關(guān)心的信息， 僅僅為監(jiān)控者提供有用的關(guān)鍵信息， 從而解決了視頻量大工作人員無(wú)力監(jiān)管等問題， 因此受到越來越多的關(guān)注。

　　目前國(guó)內(nèi)智能分析技術(shù)已經(jīng)不再局限于檢測(cè)和識(shí)別，還逐漸發(fā)展為跟蹤預(yù)測(cè)、行為分析等眾多應(yīng)用。檢測(cè)是指通過前景提取等方法對(duì)畫面中物體的移動(dòng)進(jìn)行檢測(cè)，通過設(shè)定規(guī)則來區(qū)分不同的行為，例如拌線、周界等；識(shí)別是指利用模式識(shí)別技術(shù)對(duì)畫面中所需要監(jiān)控的物體進(jìn)行針對(duì)性的建模，從而達(dá)到對(duì)視頻中的特定物體進(jìn)行檢測(cè)、識(shí)別、分類等相關(guān)應(yīng)用，例如智能檢測(cè)與識(shí)別、車型識(shí)別等；跟蹤是指對(duì)識(shí)別到的特定物體的運(yùn)動(dòng)軌跡進(jìn)行跟蹤預(yù)測(cè)，在視頻圖像序列中表示感興趣的物體或者將不同時(shí)間序列中出現(xiàn)的物體濃縮進(jìn)短短幾分鐘的畫面，例如視頻濃縮、摘要等；行為分析是指對(duì)運(yùn)動(dòng)物體的行為進(jìn)行判斷，并在使用者設(shè)定的條件下進(jìn)行自動(dòng)告警與記錄，如離崗、徘徊、打架斗毆以及表情分析等。

　　智能處理的壓力通常集中在性能上，如何在有限的服務(wù)器資源上同時(shí)滿足更多路智能分析的需求，是除了算法效果以外開發(fā)者需要關(guān)注的另一個(gè)重要問題。目前越來越多的高速處理器得到普及，除了DSP 以外，GPU 和FPGA 的主流廠家如Intel、Nvidia、AMD、Altera 等紛紛推出基于OpenCL 平臺(tái)的通用計(jì)算開發(fā)，宇視也基于GPU 和FPGA 進(jìn)行了一系列的智能分析算法的優(yōu)化加速。

GPU 與CPU 的差別在于更少的邏輯控制單元和更多的算術(shù)運(yùn)算單元。由于GPU在邏輯判斷方面的弱勢(shì)，導(dǎo)致其通常不會(huì)用作主控芯片，而是與CPU 配合使用，處理大量數(shù)據(jù)計(jì)算問題。而針對(duì)數(shù)據(jù)交互的瓶頸問題， 各大廠家也各自開發(fā)出unifymemor y 等解決方案，減少數(shù)據(jù)拷貝。

GPU 與CPU 資源對(duì)比

按應(yīng)用類型可以分：

　　控制密集型（Control Int ensive），例如searching、parsing 等等，適合于CPU 的任務(wù)并行處理。數(shù)據(jù)密集型（Data Intensive），例如圖像處理、數(shù)據(jù)挖掘等等，適合于GPU 的數(shù)據(jù)并行處理。

　　計(jì)算密集型（Compute Int ensive），例如迭代操作、金融建模等等， 適合于FPGA 的流水線并行處理。

　　GPU 的單指令多數(shù)據(jù)并行（SIMDParallelism）工作方式和FPGA 的流水線并行（Pipeline Parallelism） 工作方式對(duì)比如下圖10 所示。GPU 是硬件固定的（fixed hardware）， 同一個(gè)處理單元在每個(gè)時(shí)鐘周期可以加載不同的指令，但是在每個(gè)時(shí)鐘周期都是處理的同一條指令，并且無(wú)論處理何種指令，都必然占用一整個(gè)流處理器的資源（包括指令發(fā)射器、寄存器等）；而FPGA 相當(dāng)于是指令固定的（fixed instructions），每個(gè)時(shí)鐘周期數(shù)據(jù)流水似的經(jīng)過不同的處理，這在運(yùn)行過程中不會(huì)發(fā)生變化，而不同的操作會(huì)消耗不同的資源，這在關(guān)注Performance PerWatt 時(shí)可能會(huì)有更好的表現(xiàn)。

　　另外一個(gè)重要的差別是遇到分支時(shí)，盡管GPU 和FPGA 都不像CPU 那樣善于處理分支，它們會(huì)把分支都進(jìn)行處理，但二者的做法也很不一樣。GPU 由于為單指令多數(shù)據(jù)操作，只能通過時(shí)間上的“堆疊”，一條分支一條分支的處理，這種情況下GPU 的效率明顯降低； 而FPGA 可以通過硬件的“堆疊”來同時(shí)處理多個(gè)分支，當(dāng)然需要以犧牲資源為代價(jià)，如下圖11 所示。

SIMD 并行與流水線并行對(duì)比

SIMD 并行和流水線并行分支行為的對(duì)比

總結(jié)——展望：萬(wàn)物聯(lián)網(wǎng)

　　視頻圖像處理技術(shù)未來的發(fā)展趨勢(shì)，絕對(duì)不僅僅是局限在技術(shù)本身而已。如何與其他技術(shù)結(jié)合、融合，來創(chuàng)造出更靈活、更人性化的應(yīng)用，適應(yīng)物聯(lián)網(wǎng)浪潮的發(fā)展，才是未來值得關(guān)注的方向。