在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場(chǎng)景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會(huì)根據(jù)輸入側(cè)不同粒度(卷級(jí)、文件級(jí)、塊級(jí))的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級(jí)與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級(jí)、文件級(jí)重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的***標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個(gè)冗余數(shù)據(jù)。國內(nèi)較早發(fā)布CDM領(lǐng)域的平臺(tái)型產(chǎn)品是上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品。備份校驗(yàn)管理
敏捷數(shù)據(jù)管理平臺(tái)(ADM)由管理控制中心(Master)、數(shù)據(jù)服務(wù)節(jié)點(diǎn)(CDM Server)、敏感數(shù)據(jù)處理服務(wù)節(jié)點(diǎn)(SDM Server)、客戶端(Client)組成,服務(wù)節(jié)點(diǎn)可通過主備節(jié)點(diǎn)部署實(shí)現(xiàn)高可用,通過靈活的橫向節(jié)點(diǎn)擴(kuò)展實(shí)現(xiàn)功能擴(kuò)展和容量擴(kuò)充,每個(gè)服務(wù)節(jié)點(diǎn)可以安裝在物理服務(wù)器或虛擬服務(wù)器中。一個(gè)或多個(gè)客戶端連接到服務(wù)節(jié)點(diǎn),組成一個(gè)完整的數(shù)據(jù)管理平臺(tái),客戶端負(fù)責(zé)收集數(shù)據(jù)、傳輸數(shù)據(jù),服務(wù)節(jié)點(diǎn)負(fù)責(zé)接收數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、敏感數(shù)據(jù)處理以及管理數(shù)據(jù)。初始的虛擬數(shù)據(jù)庫實(shí)例上訊ADM產(chǎn)品的公開報(bào)價(jià)是多少?
用戶提出數(shù)據(jù)管理產(chǎn)品的上線既要滿足云技術(shù)的部署帶來數(shù)據(jù)遷移和歷史備份數(shù)據(jù)接管的要求,又要對(duì)用戶系統(tǒng)更新迭代導(dǎo)致副本數(shù)據(jù)使用管理需求增加、測(cè)試場(chǎng)景需求增加的問題予以解決,因此用戶對(duì)CDM的部署方式提出了要求:即適應(yīng)混合多云環(huán)境,支持BaaS和訂閱的模式部署。敏捷數(shù)據(jù)管理平臺(tái)(ADM)產(chǎn)品具備靈活的部署模式,既支持單機(jī)部署,也支持高可用部署、多云混合部署,且每個(gè)功能均支持在線擴(kuò)展,具備擴(kuò)展的便捷性。在混合多云環(huán)境中,只需要將ADM在每朵云中進(jìn)行部署,即可實(shí)現(xiàn)備份數(shù)據(jù)、副本數(shù)據(jù)的多云間統(tǒng)一管理,并支持在每朵云中創(chuàng)建虛擬數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的分鐘級(jí)快速交付;在云環(huán)境中的測(cè)試環(huán)境,可以利用云主機(jī)的快照功能及ADM的虛擬數(shù)據(jù)功能,達(dá)到整個(gè)測(cè)試環(huán)境的版本管理(包括系統(tǒng)、數(shù)據(jù)),達(dá)到數(shù)據(jù)使用及管理的便利性.
管理控制中心(Master)是ADM的集中管理和調(diào)度控制中心,是進(jìn)行可視化管理的Web操作平臺(tái)。它負(fù)責(zé)集中管理ADM中的所有模塊組件,系統(tǒng)管理員、安全管理員、操作員通過管理控制中心的Web管理頁面協(xié)調(diào)并執(zhí)行各個(gè)角色對(duì)應(yīng)的操作;數(shù)據(jù)服務(wù)節(jié)點(diǎn)(CDMServer)是提供數(shù)據(jù)備份與恢復(fù)、備份數(shù)據(jù)恢復(fù)驗(yàn)證、副本數(shù)據(jù)創(chuàng)建和交付、數(shù)據(jù)復(fù)制容災(zāi)功能的服務(wù)節(jié)點(diǎn)。用于記錄數(shù)據(jù)服務(wù)任務(wù)的配置信息、存儲(chǔ)情況、歷史記錄等,數(shù)據(jù)服務(wù)節(jié)點(diǎn)統(tǒng)一通過MasterIP訪問;***服務(wù)節(jié)點(diǎn)(SDMServer)是提供數(shù)據(jù)脫敏的服務(wù)節(jié)點(diǎn),用于記錄接入平臺(tái)的敏感數(shù)據(jù)源、數(shù)據(jù)脫敏策略、***任務(wù)記錄等信息,***服務(wù)節(jié)點(diǎn)統(tǒng)一通過MasterIP訪問??蛻舳耍–lient)*針對(duì)數(shù)據(jù)服務(wù)節(jié)點(diǎn)(CDMServer)需要保護(hù)及管理的生產(chǎn)服務(wù)器、目標(biāo)服務(wù)器,如物理服務(wù)器、虛擬機(jī)等都統(tǒng)稱為客戶端。為方便與管理控制中心進(jìn)行網(wǎng)絡(luò)通信和數(shù)據(jù)傳輸,一般會(huì)在客戶端上安裝客戶端軟件??蛻舳塑浖?fù)責(zé)響應(yīng)管理控制中心(Master)的命令,執(zhí)行數(shù)據(jù)備份和恢復(fù)等指令??蛻舳塑浖赏ㄟ^管理控制中心(Master)進(jìn)行Web頁面的推送安裝與注冊(cè)。***服務(wù)節(jié)點(diǎn)(SDMServer)無需安裝客戶端軟件。市面上的敏感數(shù)據(jù)管理產(chǎn)品有哪些?
數(shù)據(jù)備份管理是上訊敏捷數(shù)據(jù)管理平臺(tái)ADM功能模塊之一,主要用于實(shí)現(xiàn)云環(huán)境、物理環(huán)境、虛擬化平臺(tái)下的數(shù)據(jù)保護(hù)。包括支持各種主流平臺(tái)下的系統(tǒng)、數(shù)據(jù)庫及文件數(shù)據(jù)的保護(hù),支持主流的虛擬化平臺(tái)、國產(chǎn)化云服務(wù)器以及容器的保護(hù),并可對(duì)物理服務(wù)器及虛擬化平臺(tái)下的備份數(shù)據(jù)進(jìn)行即時(shí)掛載恢復(fù),提供業(yè)務(wù)應(yīng)急的能力和數(shù)據(jù)快速恢復(fù)能力;針對(duì)數(shù)據(jù)備份的存儲(chǔ)資源類型,ADM支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、對(duì)象存儲(chǔ)等存儲(chǔ)資源。支持接入第三方云存儲(chǔ)、對(duì)象存儲(chǔ)等作為大容量數(shù)據(jù)存儲(chǔ)池,具備較強(qiáng)的擴(kuò)展能力。上訊ADM通過數(shù)據(jù)備份后獲取到的黃金副本開啟數(shù)據(jù)開發(fā)利用的創(chuàng)新流程,充分發(fā)揮數(shù)字資產(chǎn)價(jià)值。數(shù)據(jù)使用場(chǎng)景
ADM的敏感數(shù)據(jù)處理靈活性體現(xiàn)在異構(gòu)引擎可以將大數(shù)據(jù)平臺(tái)數(shù)據(jù)抽取至多類型數(shù)據(jù)庫,滿足輸出格式多樣化。備份校驗(yàn)管理
ADM產(chǎn)品測(cè)試數(shù)據(jù)多副本快速交付ADM是國內(nèi)**早的副本數(shù)據(jù)管理(CDM)產(chǎn)品,采用數(shù)據(jù)庫虛擬化技術(shù)對(duì)原始數(shù)據(jù)庫副本(黃金副本)快速生成多個(gè)虛擬數(shù)據(jù)庫作為測(cè)試數(shù)據(jù)副本,滿足開發(fā)測(cè)試場(chǎng)景的測(cè)試數(shù)據(jù)快速供應(yīng)。?100倍數(shù)據(jù)交付效率提升10TB的數(shù)據(jù)恢復(fù)時(shí)間由原來的小時(shí)級(jí)縮短至分鐘級(jí);?10倍工作效率提升在開發(fā)、測(cè)試環(huán)境中,使用者可隨時(shí)對(duì)虛擬庫做快照標(biāo)記,快照對(duì)應(yīng)著不同時(shí)間的數(shù)據(jù)版本。數(shù)據(jù)版本管理可進(jìn)行任意標(biāo)記的快照切換,降低數(shù)據(jù)導(dǎo)入或恢復(fù)產(chǎn)生的時(shí)間成本,大幅提升工作效率。?10倍存儲(chǔ)空間節(jié)省首先內(nèi)置存儲(chǔ)池存儲(chǔ)即壓縮的機(jī)制可實(shí)現(xiàn)約3:1的數(shù)據(jù)存儲(chǔ)壓縮,同時(shí)交付的多個(gè)虛擬數(shù)據(jù)庫由于共享于一份原始數(shù)據(jù),因此基本不占用額外的存儲(chǔ)空間,隨著交付虛擬數(shù)據(jù)庫的數(shù)量增加,節(jié)約的存儲(chǔ)空間會(huì)成倍增加,實(shí)際應(yīng)用場(chǎng)景中至少為用戶節(jié)約10倍的存儲(chǔ)空間。備份校驗(yàn)管理