隨著平安校園建設(shè)的展開,視頻監(jiān)控系統(tǒng)基本上在每個校園都得到了不同程度的應(yīng)用。視頻監(jiān)控系統(tǒng)作為人類視覺在空間和時間上的延伸,實際上有兩大功能需求:實時的看和控是視覺在空間上的延伸,錄像的存和查則是視覺在時間上的延伸。因此監(jiān)控錄像的存儲、檢索和回放,在校園視頻監(jiān)控系統(tǒng)的建設(shè)和使用中,占據(jù)著舉足輕重的地位。
集中存儲已成大勢所趨
在早期的平安校園建設(shè)中,DVR 發(fā)揮了重要的作用,但是隨著技術(shù)的發(fā)展,應(yīng)用的擴展,分散部署的DVR 已經(jīng)越來越不能滿足現(xiàn)在的平安校園建設(shè)的需求。
首先是過于分散的存儲對于存儲數(shù)據(jù)的統(tǒng)一管理與利用帶來較大的障礙;其次由于DVR作為非專業(yè)存儲設(shè)備,在從使用硬盤的專業(yè)性和存儲可靠性保證措施(包括RAID,部件冗余)上來看,較之專業(yè)存儲設(shè)備還有很大差距;而DVR 最大的優(yōu)勢就是本地存儲能夠大量的節(jié)約存儲帶寬,但是這一點在校園網(wǎng)帶寬資源相對豐富的學(xué)校來說,就沒有太大的優(yōu)勢了。
特別是DVR 或者是盒式NVR 設(shè)備,實時查看和存儲回放都在同一臺設(shè)備上完成,一線安保值班人員能夠很方便的接觸到歷史錄像,對于一些敏感區(qū)域——如學(xué)生宿舍等,數(shù)據(jù)安全性就不能得到很好的保證。
在網(wǎng)絡(luò)技術(shù)的不斷帶動下,端到端的帶寬成倍增長,不斷增長的視頻數(shù)據(jù)在帶來海量視頻存儲需求的同時對集中存儲也提出了新的技術(shù)述求和挑戰(zhàn):
■如何實現(xiàn)存儲容量的平滑擴展?
■如何有效的降低由此帶來的存儲成本?
■如何更可靠地保存、更安全地使用和更便捷地分享這些數(shù)據(jù)?
■如何解決越來越龐大的系統(tǒng)給維護管理帶來的困擾?
傳統(tǒng)以IPSAN 方式為主的集中存儲技術(shù)不能較好的解決如上幾個問題,核心問題在“虛擬化”和“共享”這兩個命題。以集中IPSAN存儲為基礎(chǔ),圍繞“虛擬化”和“共享”兩大核心技術(shù)為中心的視頻監(jiān)控的云存儲技術(shù)完全符合平安校園建設(shè)的需求,能實現(xiàn)基于錄像的平滑伸縮、便捷的數(shù)據(jù)分享、簡單的維護工作能解決平安校園的建設(shè)以來遇到的各種問題。
文件存儲的弊端及其解決
談及云存儲,業(yè)界主流也是以分布式文件系統(tǒng)為代表的云存儲技術(shù)?!拔募鎯Α焙汀胺植际健笔莻鹘y(tǒng)云存儲核心。文件存儲不適合大規(guī)模的視頻業(yè)務(wù)。
存儲設(shè)備或者是數(shù)據(jù)存儲應(yīng)用在校園有非常廣泛的使用,大都是采用文件或者是數(shù)據(jù)庫等結(jié)構(gòu)化的數(shù)據(jù)形式,但是監(jiān)控視頻存儲采用傳統(tǒng)的文件形式并不是很合適的。因為采用文件形式對視頻數(shù)據(jù)進行存儲,只是把DVR 的存儲模式簡單的移植到了專業(yè)的存儲設(shè)備上來,DVR 受限于較低的處理能力,為了便于對本來就不多的錄像數(shù)據(jù)進行管理,自然而然的就采用了性能效率都不太高但是消耗處理資源很少的文件系統(tǒng),這樣一般的監(jiān)控廠家就一脈相承的把文件存儲方式轉(zhuǎn)移到了集中存儲中來了。
為什么說文件存儲方式不適合監(jiān)控視頻存儲呢?這是由監(jiān)控視頻的特點決定的,與傳統(tǒng)的文檔數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)不同,監(jiān)控視頻沒頭沒尾,隨時間的延續(xù)線性增長,屬于非結(jié)構(gòu)性數(shù)據(jù),以流的模式存在。非要把一道流切片成一個一個的文件形式,會帶來這樣那樣的問題。
首先就是容易形成圖像丟失,假設(shè)以5 分鐘的圖像為一個文件,那么假如當(dāng)存儲到2 分鐘的時候,系統(tǒng)發(fā)生故障,已經(jīng)存入的2 分鐘歷史圖像由于并沒有形成一個完整的文件(還需要3 分鐘的圖像存儲才能形成一個完整文件),并沒有存入存儲設(shè)備中去,這樣就丟失了2 分鐘的歷史圖像,往往是這2 分鐘內(nèi)發(fā)生的事件導(dǎo)致了故障的發(fā)生,卻沒有記錄下來,這是監(jiān)控系統(tǒng)無法容忍的。與此同時還有當(dāng)前錄像的查詢問題,如果需要馬上知道當(dāng)前時間前一瞬間發(fā)生了什么事件,但是由于沒有達到文件形成的時間長度,所以無法立即查看當(dāng)前錄像。解決這類問題的直接方法是縮短文件的時間段,比如1 分鐘一個文件,甚至半分鐘、15 秒一個文件,這樣就會帶來另外一個問題,形成大量的磁盤碎片,浪費大量的空間——我們知道PC 機中的小文件越多,空間浪費就越嚴重。而且在調(diào)用存儲錄像的時候,需要頻繁的打開關(guān)閉文件,降低了讀取效率,寫入也存在同樣的效率問題。
那么作為非結(jié)構(gòu)化數(shù)據(jù)的監(jiān)控視頻,我們把它進行純粹的非結(jié)構(gòu)化存儲——就像傳統(tǒng)錄像帶存儲一樣,用流的方式進行記錄——怎么樣呢?這樣又會帶來檢索的問題,如果以流的方式存儲,那么磁盤空間就無法索引,只能通過時間進行線性檢索。如果是磁帶存儲,那這樣做是唯一的方法,而磁盤是可以通過“磁盤、磁道、簇”進行三維檢索的,通過時間來進行線性檢索就極大地降低了檢索效率,浪費了資源。
基于“塊”格式的視頻云存儲模式有效的解決了上述兩難問題,實現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化存儲。即以非常微小的裸數(shù)據(jù)塊的形式存儲監(jiān)控視頻數(shù)據(jù),就如同物理上的“波粒二象性”一樣,從宏觀上看,視頻是以流的模式存儲的,提高了讀寫效率,提升了視頻存儲的可靠性;從微觀上看,視頻又是被分割成一個一個的數(shù)據(jù)塊,便于建立索引,提高檢索效率,提升檢索精度,這也是能夠?qū)崿F(xiàn)秒級檢索、即時回放的技術(shù)基礎(chǔ)。
基于“塊”的視頻云存儲的分布式的架構(gòu)對內(nèi)能講所有存儲資源進行整合,虛擬存儲資源池,解決存儲容量變大或縮小的需求;對外能提供統(tǒng)一的訪問模式和接口,更可靠地保存、更安全地使用和更便捷地分享這些數(shù)據(jù)。在數(shù)據(jù)容錯上,可以通過扇區(qū)、磁盤、設(shè)備、RAID、糾刪碼 五個層次解決數(shù)據(jù)容錯的問題,大大減少單點故障導(dǎo)致的業(yè)務(wù)停滯或數(shù)據(jù)丟失的問題。
硬盤的應(yīng)用
學(xué)校,特別是高校,也許是各個行業(yè)中硬盤密度最高的行業(yè)之一,從師生個人PC 上的桌面級硬盤,到各院系保衛(wèi)處的監(jiān)控級硬盤,再到教學(xué)科研數(shù)據(jù)中心的企業(yè)級硬盤,那么監(jiān)控視頻數(shù)據(jù)的存儲究竟該用什么樣的硬盤呢?對于監(jiān)控錄像的存儲來說,桌面級硬盤自然是不可用的,因為桌面級硬盤的工作時間是7×8 小時,而監(jiān)控錄像的存儲則必須是7×24 小時的。這樣在采用桌面級硬盤實現(xiàn)存儲的時候,剛開始的時候系統(tǒng)是能夠正常運行的,但是隨著時間的增長,硬盤的損壞率會成指數(shù)級別的飛速增長,整個系統(tǒng)的日常維護成本大幅上升,而系統(tǒng)壽命也會深受影響。
那么采用所謂的監(jiān)控級硬盤又如何呢?從硬盤廠商的專業(yè)資料可以得知,監(jiān)控級硬盤是硬盤廠商專門為DVR 等盒式設(shè)備設(shè)計的,其設(shè)計工作時間是7×24 小時,可以很好的支撐DVR/NVR 的長時間的工作。但是,誠如前文所述,對于平安校園的建設(shè)來說,集中存儲已經(jīng)成為大勢所趨,對于集中式存儲設(shè)備SAN 來說,監(jiān)控級硬盤已經(jīng)不能滿足SAN設(shè)備的需求。因為一旦使用SAN 設(shè)備完成集中存儲,那么必然會帶來兩個應(yīng)用:首先是一臺設(shè)備基本上需要承載幾百個前端設(shè)備的同時寫入,和十幾個甚至是幾十個用戶的同時讀出的可能性;其次是RAID 的應(yīng)用,一般來說是RAID5,而RAID 的啟用要求存儲設(shè)備中的所有硬盤同時工作。那么對于這兩種應(yīng)用,監(jiān)控級硬盤5400 轉(zhuǎn)的轉(zhuǎn)速和對RAID 的不支持就成為了很自然的瓶頸,因為,轉(zhuǎn)速過低的話,多個前端的快速寫入自然會受到影響;而對RAID支持程度的不高,使得監(jiān)控級硬盤只能支持單個硬盤的順序?qū)懭?,對于多個硬盤的同時讀寫,特別是并發(fā)寫入,會導(dǎo)致硬盤壽命的快速下降。
但監(jiān)控級硬盤和企業(yè)級硬盤商務(wù)上的巨大差距,也讓視頻存儲廠商從數(shù)據(jù)下發(fā)源頭進行研究,流量盡量平均的分配在各個硬盤上,降低臨時流量的訪問,使業(yè)務(wù)對硬盤的讀寫更加平滑,降低硬盤轉(zhuǎn)速的需求。同時在設(shè)備的硬件上增加減震設(shè)計,減少監(jiān)控級硬盤在組成RAID 后導(dǎo)致“共震”,拉平監(jiān)控級硬盤和企業(yè)級硬盤在使用的差距,原則上性價比更高的監(jiān)控級硬盤會在采用集中存儲模式的平安校園視頻監(jiān)控系統(tǒng)中廣泛應(yīng)用。
有效的利用生命周期管理
監(jiān)控視頻數(shù)據(jù)的存儲成本,特別是存儲硬盤采購、維護成本,在整個平安校園視頻監(jiān)控系統(tǒng)成本中占據(jù)了相當(dāng)大的比重。而錄像存儲數(shù)據(jù)中又有大量的數(shù)據(jù)是無效、無用的數(shù)據(jù),比如說在某個監(jiān)控點一天24 小時的數(shù)據(jù)中,可能只有8 個小時是有人員活動的,那么就有16 個小時是無效圖像,但是我們依然需要將這16 個小時的無效錄像保持30 天。此外,監(jiān)控錄像的時效性也是很強的,隨著時間的流逝,錄像數(shù)據(jù)的有效性也在飛速下降,例如20 天前的錄像的價值肯定遠不如3 天前的錄像。也就是說,監(jiān)控錄像數(shù)據(jù)的生命周期非常明確,如錄像的創(chuàng)建期、活動期、消亡期和終結(jié)期,那么在不同的時期,相同時間長度的錄像占據(jù)的存儲空間可以是完全不同的。因此,為了有效降低錄像存儲成本,減少存儲空間,降低硬盤使用數(shù)量,及時的刪除無效錄像,或者靈活的應(yīng)用備份/歸檔規(guī)則——抽幀備份、事件備份或者智能備份(有活動的圖像備份),都能夠迅速的提高存儲空間的利用效率,降低整個監(jiān)控系統(tǒng)的存儲成本。
云存儲已然成為了全球儲存業(yè)的行業(yè)潮流,安防行業(yè)也緊追行業(yè)趨勢。反觀安防行業(yè),發(fā)展的依仗聚焦在視頻監(jiān)控板塊。那么視頻云存儲的成熟發(fā)展,將之應(yīng)用到視頻監(jiān)控當(dāng)中,不僅可以輕松將視頻監(jiān)控所攝取的海量視頻數(shù)據(jù)進行存儲,更能進一步從關(guān)鍵數(shù)據(jù)中獲取真實的關(guān)鍵信息,再向具體業(yè)務(wù)提供支撐,進一步深化安防,并且能夠在商務(wù)上升不多的情況下將視頻云存儲得到廣泛應(yīng)用。因此視頻云存儲不僅僅在平安校園,在整個安防行業(yè)的應(yīng)用,會隨著技術(shù)的成熟,而日益普及。