海量非結(jié)構(gòu)化數(shù)據(jù)存儲問題初探

電力企業(yè)非結(jié)構(gòu)化數(shù)據(jù)存儲及管理現(xiàn)狀

1　電力企業(yè)檔案非結(jié)構(gòu)化數(shù)據(jù)的存儲特點

與傳統(tǒng)檔案的館藏資源相比，數(shù)字檔案館信息資源有其自身的特點。從存儲的角度來考慮，數(shù)字檔案館館藏數(shù)字資源具有以下特點：

(1)存儲容量大。數(shù)字檔案館的各種數(shù)字化信息如流媒體、歷史檔案等的增長也將一直持續(xù)下去。存儲信息的度量單位由MB，GB向TB，PB轉(zhuǎn)變，其存儲的數(shù)據(jù)總量達到了海量規(guī)模。

(2)媒體形式多。數(shù)字檔案館館藏包括數(shù)字化的文書、圖紙、實物、照片、電子出版物、互聯(lián)網(wǎng)內(nèi)容、政府文件等各種各樣的人文與科學數(shù)據(jù)資源。其存儲媒介已不限于印刷體，它包含文本、聲音、圖像、影視等多種媒體形式，數(shù)據(jù)類型復雜。

(3)快速增長。近幾年來，檔案館數(shù)字資源呈幾何級數(shù)增長，數(shù)字檔案和全文數(shù)據(jù)庫是數(shù)字檔案館藏資源的重要增長點。如各企業(yè)正在進行的歷史檔案的數(shù)字化工作，將會使數(shù)字館藏迅猛增長。

2　電力企業(yè)非結(jié)構(gòu)化數(shù)據(jù)存儲管理的現(xiàn)狀

目前電力企業(yè)對非結(jié)構(gòu)化數(shù)據(jù)的存儲方式有如下幾種方式：

(1)直接存儲在結(jié)構(gòu)化數(shù)據(jù)庫的BLOB字段中。目前電力企業(yè)大部分的應用系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，如報告、報表、圖片等都是以二進制的格式保存在結(jié)構(gòu)化數(shù)據(jù)庫的BLOB字段中。保存在BLOB字段中的好處是調(diào)用文件的速度很快，維護和管理簡單，與其他應用系統(tǒng)沒有任何關(guān)聯(lián)；缺點一是由于非結(jié)構(gòu)化數(shù)據(jù)文件大，在數(shù)據(jù)量不斷增大的情況下，會使得結(jié)構(gòu)化數(shù)據(jù)庫迅速膨脹，導致數(shù)據(jù)庫性能下降，進而影響整個應用系統(tǒng)的性能；二是由于各個應用系統(tǒng)相對封閉和獨立，其他應用無法共享相關(guān)文檔資料。

(2)以FTP上傳的方式保存到文件服務器中。以這種方式保存非結(jié)構(gòu)化數(shù)據(jù)的應用較少，比較典型的應用有數(shù)字檔案館、知識管理和網(wǎng)站。

(3)通過文件系統(tǒng)直接存儲在文件服務器中。對于大多數(shù)沒有應用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)，如信息管理部門常用的工具軟件、開發(fā)的應用系統(tǒng)軟件、源代碼、開發(fā)過程文檔、技術(shù)研究資料等，新聞中心的素材、資料等通常都是將文件直接存儲到文件服務器中。

海量非結(jié)構(gòu)化數(shù)據(jù)存儲整合

在數(shù)字檔案館建設過程中發(fā)現(xiàn)，企業(yè)各類業(yè)務系統(tǒng)都有數(shù)字資源的歸檔要求。面對各業(yè)務系統(tǒng)各自為戰(zhàn)的存儲系統(tǒng)，許多企業(yè)都正在評估和選擇實現(xiàn)信息資源整合的最佳途徑，而其中絕大多數(shù)所瞄準的都是基于文件結(jié)構(gòu)使用SAN或NAS進行整合的方式。

1　數(shù)據(jù)整合的驅(qū)動因素

進行存儲系統(tǒng)整合的根本目的是為了減少存儲資源的數(shù)量。目前文件服務系統(tǒng)的規(guī)模會隨著新增企業(yè)應用的部署和新的擴展需求而不斷增長，最終會形成一個擁有越來越多文件服務器的龐大的文件服務環(huán)境。這種復雜的文件服務環(huán)境是不利于業(yè)務系統(tǒng)數(shù)字資源的管理、歸檔的。下面對非結(jié)構(gòu)化數(shù)據(jù)存儲整合的驅(qū)動因素逐一論述。

降低管理成本

系統(tǒng)整合所帶來的一個好處就是能夠減少企業(yè)的IT管理工作。隨著需要管理的存儲設備的減少，處理這些管理任務所需要用到(續(xù)致信網(wǎng)上一頁內(nèi)容)的人力資源也可以相應地減少。而如果任隨這些系統(tǒng)不斷增長，隨著時間的推移，最終將積累起大量的文件服務器資源，這些資源的維護對IT人員來說將是一個極大的負擔。

經(jīng)濟利益

存儲系統(tǒng)整合的實現(xiàn)同樣會對企業(yè)的經(jīng)濟產(chǎn)生極大的正面促進作用。當企業(yè)將多個系統(tǒng)整合成一個之后，就能夠節(jié)省下多余的軟件許可費用和磁盤空間，得以節(jié)省大量的IT成本。更重要的是，IT管理員花費在管理這些系統(tǒng)進行軟硬件更新和解決相關(guān)問題上的時間也能夠得到極大的節(jié)省。

資產(chǎn)保護

實現(xiàn)存儲系統(tǒng)整合的另一個基本的驅(qū)動因素就是要更好地進行企業(yè)資產(chǎn)的保護。備份機制是否為數(shù)據(jù)提供了足夠的保護?有沒有合適的安全控制?如果這些過程都能夠從中央來統(tǒng)一進行管理和控制，那么以前所必須要進行的備份次數(shù)以及系統(tǒng)的安全控制點都能夠大大減少，企業(yè)就將有機會確保企業(yè)資產(chǎn)都得到了完善的保護。

2　實現(xiàn)整合的不同方式

目前在整合多個存儲系統(tǒng)時有多種不同的方式可供選擇。一種方式是企業(yè)購買一個大型NAS設備并淘汰掉其他小型的存儲系統(tǒng)，在整個企業(yè)范圍內(nèi)只存在一個存儲系統(tǒng)；另一種方式是采用虛擬數(shù)據(jù)中心的方式，也就是說其他已有的小型存儲設備都隱藏在一個中央存儲系統(tǒng)之后或分散在不同的物理地點，所有的資源實際上和以往一樣都仍然存在，但只會有一個單一的數(shù)據(jù)界面需要管理。

文件服務器整合

存儲系統(tǒng)整合的第一種類型是針對那些被部署用于解決某個特定應用需求的單獨的文件服務器。在原有的基礎架構(gòu)之下，越來越多的文件服務器會隨著新增企業(yè)應用的上線而被獨立部署到企業(yè)IT環(huán)境中，企業(yè)的存儲系統(tǒng)將無法避免地變得越來越膨脹。文件服務器整合的目標是通過設施整合將系統(tǒng)控制在一個更小的機構(gòu)，比如一個工作小組或一個部門中統(tǒng)一集中起來。常見的處理問題的方法是安裝部署一個“全功能盒子”或類似的設備將那些多個文件服務器結(jié)合在一起并放到一個統(tǒng)一的平臺上去。

非結(jié)構(gòu)化數(shù)據(jù)的整合

現(xiàn)在企業(yè)普遍都有一個同的認識，即一個更大型的NAS系統(tǒng)有助于增強存儲系統(tǒng)擴容性方面的能力并且能夠消除分布各處的獨立的存儲設備，但存在整合過程較為復雜以及成本過高的問題。而這種中央化整合或者說通過虛擬數(shù)據(jù)中心管理的軟件可以將數(shù)據(jù)中心的存儲設備與分散的文件服務器進行整合。建立虛擬的非結(jié)構(gòu)化數(shù)據(jù)中心不僅能夠統(tǒng)一管理分布在各個物理地點的存儲設備，而且為管理員和客戶提供了唯一的訪問路徑，顯然更加符合企業(yè)不斷擴展、多個物理數(shù)據(jù)中心并存的現(xiàn)實狀況。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]