- 公司新聞 您現(xiàn)在的位置 :首頁 -- 新聞中心 -- 公司新聞
- 上一篇:全景成像測距系統(tǒng)
- 下一篇:“智慧工地”助推工程建設(shè)管理高效化
大數(shù)據(jù)時代,海量數(shù)據(jù)如何存儲
發(fā)表于:2020-06-24 瀏覽953次 |
大數(shù)據(jù)時代,海量數(shù)據(jù)如何存儲
背景:大數(shù)據(jù)時代,數(shù)據(jù)規(guī)模越來越大,由于數(shù)據(jù)的增長速度和非結(jié)構(gòu)化的特點,常用的硬軟件設(shè)備已無法使客戶在可容忍的時間范圍內(nèi)搜索、管理和分析。
Forrester報告顯示,有多達(dá)73%的數(shù)據(jù)未使用,但很少有數(shù)據(jù)被丟棄。仍然保留舊的但很少或從未訪問過的數(shù)據(jù),主要原因在于:新的分析類型需要,比如長期趨勢分析可能會使這些幾乎被遺忘的數(shù)據(jù)重新啟用。這種數(shù)據(jù)被稱作“冷數(shù)據(jù)”,即是不經(jīng)常訪問、但又無法刪除的數(shù)據(jù),比如用戶在社交媒體上存儲的大量信息、企業(yè)備份數(shù)據(jù)、業(yè)務(wù)與操作日志數(shù)據(jù)等數(shù)據(jù)。如何有效管理此類數(shù)據(jù),成為一大難題。但隨著經(jīng)營規(guī)模和日常事務(wù)的增加,存儲相關(guān)成本與日俱增。
一般采取以下四種方法有效管理其冷數(shù)據(jù):
1、使用便宜但可靠的冷數(shù)據(jù)存儲
對于很少使用或存檔的數(shù)據(jù),慢速硬盤驅(qū)動器和磁帶是最常用的存儲介質(zhì)。但此類存儲介質(zhì)使用壽命相對固定,在設(shè)備生命周期結(jié)束前,須將數(shù)據(jù)備份到新介質(zhì)上。
2.考慮基于云的冷數(shù)據(jù)存儲
如果不想使用物理外部設(shè)施進(jìn)行數(shù)據(jù)存儲,則可以選擇“云”。
3.年度評估冷數(shù)據(jù)
即使已有存儲冷數(shù)據(jù)的方法,也并不意味著可存儲所有冷數(shù)據(jù)。管理辦和法務(wù)人員須每年評估一次數(shù)據(jù)的“去留”。
4. 使用數(shù)據(jù)/存儲自動化
大多數(shù)分層數(shù)據(jù)存儲是通過人工智能實現(xiàn)的。人工智能通過用戶定義的存儲數(shù)據(jù)規(guī)則,來確定數(shù)據(jù)存儲位置。很少使用的數(shù)據(jù)或冷數(shù)據(jù)將被分配給速度較慢的磁盤驅(qū)動器或磁帶。自動化的過程不僅確保以最低的成本存儲冷數(shù)據(jù),而且也能將大量熱數(shù)據(jù)提供給用戶。
金錢貓冷數(shù)據(jù)存儲和數(shù)據(jù)優(yōu)化系統(tǒng)可根據(jù)用戶需要智能分析和管理數(shù)據(jù),將冷熱數(shù)據(jù)分離,冷數(shù)據(jù)移至低功耗的硬盤中,通過智能電源管理技術(shù),有效降低存儲服務(wù)器整機運行功耗,并通過清理垃圾數(shù)據(jù)、數(shù)據(jù)去重、備份、歸檔等技術(shù)有效優(yōu)化存儲管理,全面提高存儲效率,降低存儲和運營成本。據(jù)測算可降低服務(wù)器硬盤投資成本50%,節(jié)省用電50%。同時數(shù)據(jù)存儲在冷盤中支持在線可訪問,僅5-10S就可響應(yīng),比光盤、磁帶等離線存儲更理想,更友好,更方便。