太阳城代理网址

首頁 深1度 24小時 洞見 突發 娛樂 傳媒 IT 電腦 軟件 手機 通信 科教 游戲 科技 網絡 物聯網 智汽車 云計算 大數據 醫療 電商 數碼 金融 教育 交通 物流 消費 AI 區塊鏈
當前位置: 首頁 > 大數據 > 正文

未來技術對數據存儲結構變化的挑戰

2019-09-17 11:37:53 來源:   

  2018年全球共產生了32個ZB的數據(ZB是10的12次方GB),在4年后我們將進入一個階段性的ZB級數據時代,每年將會產生超過100個ZB的數據量。隨著5G、IoT、AI和深度學習、超高清技術的發展,數據將產生爆炸性的增長,同時也對數據存儲提出新的挑戰。2019年9月11日,西部數據產品市場部副總裁朱海翔先生就下一代存儲創新為主題在2019世界計算機大會上進行了主題演講。

  西部數據公司產品市場部副總裁朱海翔先生

  西部數據公司產品市場部副總裁朱海翔表示:“數據正悄然無聲地產生于我們日常生活的點滴之中。隨著萬物互聯的發展,我們已經來到了數據大爆炸的時代。相信流媒體發展產生的數據表現能夠快速引起大家的共鳴:一部40集的電視劇,在高清格式下需要有大概69GB的存儲空間,而到了現在4K超高清的畫質下,我們則需要大約480GB的存儲容量,這相當于之前所需存儲容量的約7倍。在今天,我們可以看到很多的數據還是以人為產生的為主;但預計到了2023年,全世界超過90%的數據都會由機器自動產生。針對這些爆炸性的數據,我們有必要重新審視當今的存儲能不能滿足數據中心急劇增長的發展需求。如何滿足數據增長的存儲需求,是時代交給西部數據的命題。”

  成本:數字和邏輯的維度

  從標清提升到超高清用戶在視覺上獲得更好的體驗,而背后的數據則呈指數級增長,超高清的存儲量約是標清的16倍,數據的存儲量也呈現指數級的增長,隨著未來90%的數據都由機器自動產生,將呈現爆發式的數據存儲需求。西部數據認為利用更多數據產生過程和特性的改變,以有效、低成本、高密度的方式存儲數據,是應對數據存儲結構變化的有效措施。

  以目前的存儲技術全球存儲的數據僅15%被留存下來,到2023年在技術不變的前提下大約只有10%的數據留存,其余高達90%的數據因成本和收益等原因被放棄,在大數據時代每一行數據都是有潛在價值的,數據是時代的新貨幣言下之意就是在產生數據的時候你沒有意識到數據的價值,而在后期分析中將挖掘出數據的價值,兼顧數據存儲的有效性和低成本是未來的一大趨勢。

  在NAND FLASH工藝制程經常能聽到24層、48層、96層,對于追求成本的企業來說并非工藝制程越高就越合適,朱海翔做了一個生動的形容:“在舊金山市中心有一幢61層的大廈,將其比喻成64層的的3D NAND,每層增加都是需要增加成本的,所以你從來看不到200層的大廈。”

  縱向增加的層數都會反映在成本上,而結合橫向和縱向的維度就產生了第三個數字和邏輯的維度,當閃存孔每單元存儲422個比特,為了保持在高效的4kb狀態下,推進邏輯擴展到邊界是一個很好的辦法,通過QLC的邏輯擴展成本得以控制并獲得極佳的訪問性能,而同時也產生了OP的限制問題。

  面向未來的分區存儲架構

  西部數據擁有非常成熟的HDD技術儲備,HDD的技術演進是基于系統的架構來創建的,在過去十幾年西部數據一直在推進HDD單盤的存儲量,傳統的垂直記錄技術已經到達邊界,全新的疊瓦式磁記錄技術(SMR)增通過邏輯擴展再次不斷刷新單盤面密度的新紀錄。

  預計到2002年全球數據中心的HDD將有一半會轉向疊瓦式磁記錄技術的HDD,同時西部數據也會推進閃存技術的發展,隨著數據量的爆發式增長,數據中心將面臨超大負載會產生巨大的資源需求和成本開銷。機器產生的數據具有順序寫入的特性,通過分區存儲設備對工作負載進行合理優化,從而性能性能、效率,更快的實現TCO的降低。

太阳城代理网址  分區存儲架構通過應用層、主機和存儲協同數據存放位置,利用SMR HDD實現最的存儲容量,并通過新興分區命名空間(ZNS)標準的NVMe SDD實現耐久性和低延遲以及QoS性能,以彌補OP的限制問題,由SMR和ZNS SSD組成的分區存儲架構是實現優化基礎架構實現更大規模經濟效益的面向未來的全新存儲架構,目前西部數據基于開源的模式,和全球主要廠商和OEM廠商建立聯盟,在今年10月份共同推行分區存儲結構的標準化。

  從數據架構角度來看,分區存儲結構是一次真正改變存儲效能的演進,特別是滿足新興的技術產生的大存儲量數據, 分區存儲技術能更好的不同行業的發展。

標簽:
廣告、內容合作請點這里:尋求合作