生產(chǎn)網(wǎng)

來源: 發(fā)布時間:2024-10-19

敏捷數(shù)據(jù)管理平臺(Agile Data Management)簡稱ADM,是采用基于CDM(副本數(shù)據(jù)管理)的數(shù)據(jù)庫虛擬化技術(shù),為企業(yè)上中下游數(shù)據(jù)的備份恢復(fù)、數(shù)據(jù)驗證、敏感數(shù)據(jù)處理、分發(fā)交付提供的面向數(shù)據(jù)全生命周期的安全管理解決方案,在保證數(shù)據(jù)安全使用的同時,提高了數(shù)據(jù)使用效率并降低了數(shù)據(jù)存儲成本。ADM由數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、敏感數(shù)據(jù)處理管理組成,實現(xiàn)了數(shù)據(jù)復(fù)制容災(zāi)、數(shù)據(jù)存儲管理和數(shù)據(jù)流程管理,通過自動化流程任務(wù)編排的方式實現(xiàn)了數(shù)據(jù)使用的成本控制、版本管理與開發(fā)利用,能夠充分發(fā)揮了數(shù)據(jù)資產(chǎn)的潛在價值。數(shù)據(jù)安全領(lǐng)域的CDM是指copy data management。生產(chǎn)網(wǎng)

生產(chǎn)網(wǎng),上訊敏捷數(shù)據(jù)管理平臺ADM

l應(yīng)用數(shù)據(jù)一致性保障ADM主要應(yīng)用原生備份接口獲取具有應(yīng)用一致性保障的數(shù)據(jù),如針對Oracle,利用OracleRMAN和歸檔日志來保障備份數(shù)據(jù)庫數(shù)據(jù)的一致性;針對VMware虛擬化,利用VMwareSnapshot技術(shù)來保障備份虛擬機數(shù)據(jù)的一致性。l事務(wù)日志同步技術(shù)支持數(shù)據(jù)庫的事務(wù)日志備份,事務(wù)日志是數(shù)據(jù)庫中已發(fā)生的所有修改和執(zhí)行每次修改的事務(wù)的一連串記錄,事務(wù)日志備份可將數(shù)據(jù)恢復(fù)到精確的故障點。例如:Oracle支持歸檔日志備份和刪除,MySQL數(shù)據(jù)庫支持redo日志備份和刪除等。l文件系統(tǒng)數(shù)據(jù)保護ADM支持備份非結(jié)構(gòu)化的文件系統(tǒng)。支持全量備份和長久增量備份與全量快照合成,備份策略采用定時執(zhí)行備份任務(wù),恢復(fù)策略支持細粒度恢復(fù),**小粒度為恢復(fù)單個文件。支持跨文件系統(tǒng)恢復(fù),例如恢復(fù)到EXT3、EXT4、NTFS等文件系統(tǒng)。變形規(guī)則隨機生成數(shù)據(jù)管理領(lǐng)域的CDM產(chǎn)品哪個廠商做得好?

生產(chǎn)網(wǎng),上訊敏捷數(shù)據(jù)管理平臺ADM

上訊敏捷數(shù)據(jù)管理平臺適用場景:數(shù)據(jù)交付速度慢的開發(fā)測試部門企業(yè)通過交付生產(chǎn)數(shù)據(jù)輔助第三方業(yè)務(wù)決策,如開發(fā)/測試環(huán)境、統(tǒng)計分析、準業(yè)務(wù)系統(tǒng)環(huán)境搭建等,交付生產(chǎn)數(shù)據(jù)的方式是通過生成業(yè)務(wù)系統(tǒng)數(shù)據(jù)副本,而副本的準備通常需要幾小時,甚至幾天不等,嚴重拖延了項目進度。

備份數(shù)據(jù)的有效性驗證效率低的運維部門,大部分企業(yè)對其**業(yè)務(wù)系統(tǒng)進行了數(shù)據(jù)備份,為了檢驗備份數(shù)據(jù)的有效性,以及滿足相關(guān)法律法規(guī)的要求,企業(yè)對備份數(shù)據(jù)采取周期性的恢復(fù)驗證;由于企業(yè)的業(yè)務(wù)系統(tǒng)繁多,而人員相對緊缺,驗證工作需要大量重復(fù)性動作,成為企業(yè)當前面臨的一大挑戰(zhàn)。

數(shù)據(jù)副本分散存放難以管理的數(shù)據(jù)中心數(shù)據(jù)副本一旦被交付使用,就**存在于使用環(huán)境中,隨著數(shù)據(jù)使用場景的日益增多,數(shù)據(jù)副本在非生產(chǎn)環(huán)境中逐漸累積,**分散的存放方式導(dǎo)致副本的辨識度不高,后續(xù)使用與銷毀難度明顯增大。同時,重復(fù)存放現(xiàn)象嚴重造成了存儲資源的浪費。u隱私數(shù)據(jù)泄露風險高的用戶無論是通過生產(chǎn)數(shù)據(jù)庫導(dǎo)出,還是通過備份系統(tǒng)恢復(fù),都能夠直接獲取到企業(yè)的**生產(chǎn)數(shù)據(jù),其中包含企業(yè)內(nèi)部機密數(shù)據(jù)和客戶個人隱私信息,一旦發(fā)生泄露將帶來嚴重后果,不僅影響企業(yè)的名譽,也會造成一定的經(jīng)濟損失。

通過智能定義敏感數(shù)據(jù)類型,自動發(fā)現(xiàn)和識別敏感數(shù)據(jù),包括數(shù)據(jù)類型、內(nèi)容、約束關(guān)系,靈活排序減少人為篩選,定位敏感數(shù)據(jù)源。豐富的算法與仿真的字典庫相結(jié)合,保證處理后數(shù)據(jù)仍具有業(yè)務(wù)屬性,數(shù)據(jù)表間關(guān)系仍具有業(yè)務(wù)一致性,不影響數(shù)據(jù)挖掘分析數(shù)據(jù)價值。對涉及企業(yè)、個人信息的隱私數(shù)據(jù),包括資金財產(chǎn)、個人、企業(yè)隱私的對照關(guān)系進行敏感數(shù)據(jù)識別,通過內(nèi)置的規(guī)則進行處理,將數(shù)據(jù)敏感部分去隱私化,但并不失去數(shù)據(jù)挖掘的價值特征,減少數(shù)據(jù)隱私泄露帶來的風險和損失,甚至降低可能發(fā)生的人身傷害和違法犯罪事件。上訊信息敏捷數(shù)據(jù)管理平臺為企業(yè)上中下游數(shù)據(jù)的高效使用、安全管控提供了一套綜合數(shù)據(jù)安全治理解決方案。

生產(chǎn)網(wǎng),上訊敏捷數(shù)據(jù)管理平臺ADM

測試數(shù)據(jù)版本迭代管理,提升開發(fā)測試業(yè)務(wù)的變更效率企業(yè)開發(fā)需求更新頻繁,對測試環(huán)境和測試數(shù)據(jù)提出了同步變更的要求,ADM的虛擬數(shù)據(jù)庫快照功能解決了測試數(shù)據(jù)版本迭代的問題,通過對數(shù)據(jù)庫狀態(tài)進行定時或即時的記錄,保留當前虛擬數(shù)據(jù)庫的狀態(tài)作為測試數(shù)據(jù)版本,一旦需要調(diào)用某個版本時,只需切換到不同時間點的虛擬庫快照即可,靈活實現(xiàn)測試數(shù)據(jù)版本的任意切換,ADM還支持創(chuàng)建和維護虛擬庫級聯(lián)快照,滿足回歸測試等具體應(yīng)用場景,通過這一功能明顯提升了開發(fā)測試效率、升級迭代效率。副本數(shù)據(jù)管理CDM產(chǎn)品與數(shù)據(jù)備份產(chǎn)品的區(qū)別?CDM在金融行業(yè)的應(yīng)用場景

數(shù)據(jù)安全領(lǐng)域的CDM是指副本數(shù)據(jù)管理。生產(chǎn)網(wǎng)

上訊敏捷數(shù)據(jù)管理平臺(ADM)支持重復(fù)數(shù)據(jù)刪除技術(shù),在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進行哈希算法的標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。生產(chǎn)網(wǎng)