元宇宙數據存儲基建:Memo分散式存儲

無論展現在我們眼前的宇宙有多複雜,一切卻都是由最基礎的粒子組成。我們可以想象這個宇宙,上帝就是一個想象力豐富的孩子,基礎粒子猶如他手裡的樂高積木,這些積木是無限供

無論展現在我們眼前的宇宙有多複雜,一切卻都是由最基礎的粒子組成。我們可以想象這個宇宙,上帝就是一個想象力豐富的孩子,基礎粒子猶如他手裡的樂高積木,這些積木是無限供應的,所以他想要的任意物體都能組合出來。元宇宙也有著同樣的相似性,二進位的數字世界里0、1就如同宇宙的基礎粒子,這些粒子同樣是無限供應的,可以堆砌出我們想要的任意虛擬物體。新的組合不斷在產生,積累越來越多,元宇宙里將住滿千奇百怪的事物。而與此同時,現實世界里的數據也在持續增長,因為元宇宙的擴展最終都會表現成現實世界里的數據。如果我們將元宇宙的擴展看成無限的,數據的產生就是無限的,與之對應的存儲空間的增長也是無限的。

數據相當於元宇宙的肉身,因此與之有關的存儲基建便十分重要,並且站在商業角度看,這是一個無限增長的市場。雖然關於元宇宙的話題持續火熱,但對元宇宙的數據存儲及存儲基建討論目前卻還未看到,本文想就此問題進行討論。

元宇宙的存儲是去中心化的

元宇宙的特點就是幾乎從感官無法察覺出它的不真實性,想到這裡你是否有夢如人生人生如夢的感慨?

元宇宙的到來意味著一個人將擁有兩種人生,一種人生由現實中的角色扮演,一種由虛擬的元宇宙里的角色扮演。很難說這兩種角色哪個更重要,對有些人來說,元宇宙里的角色甚至更重要,因為那裡有現實中沒有的一切。

元宇宙數據存儲基建:Memo分散式存儲

在元宇宙里無論是怎樣的物體,現實世界中都以數據的形式存在。因為元宇宙對人的重要性並不亞於現實世界,所以數據的安全性將異常重要。可以想到,如果一段數據記錄的是一個人的角色信息,那麼如果這段數據丟失,是否和在現實中殺死一個人差不多?

元宇宙的數據安全,當前中心化的存儲方式絕對不是一個好的選擇。在當前,我們的數據都存儲在某個網路服務商的伺服器上,服務商對我們的數據擁有絕對的權力。中心化的存儲是建立在對存儲服務商的信任上,但服務商的一切行為都是出於商業目的,只要不符合他們的商業利益,便有可能對你的數據刪除或者篡改。例如曾經的網易博客,隨著博客商業價值的降低,網易公司最終關閉了博客伺服器,用戶從此無法找回他們留在博客上的曾經美好記憶。例如曾經的百度賣吧事件,吧主多年經營起來的血友吧等有商業價值的貼吧,遭到百度公司強行接管。

上面兩個事例中我們看到,將數據交由中心化的網路服務商根本無法做到真正的安全,在元宇宙里,這無異於將自己的生命和財富裝在別人口袋中。因此,元宇宙的存儲必然是去中心化的,數據被保管在一個沒有中心節點的存儲系統中,這樣才能真正保證我們財產與數字生命的安全。

去中心化存儲

和中心化的存儲相比,去中心化存儲的優勢不僅體現在數據安全性上,也表現在存儲成本、傳輸速度等方面。因此,基於區塊鏈的去中心化存儲正逐漸興起。

不過就目前已有的去中心化存儲項目,如Filecoin、Swarm等並不容樂觀,上線后遭到大量質疑。拿Filecoin來說,因為產品設計上的缺陷,導致其幾乎不能存儲,這是因為Filecoin存在嚴重的數據丟失風險,並且存儲效率低下,一個完整的存儲過程需要數小時,因此實際是一個不可用的存儲系統。但是,Filecoin的代幣激勵又是和數據存儲相關聯的,所以礦工會將一些隨機數據存儲在上面,以此來產生代幣獎勵,以存儲為名的Filecoin最終存了一堆廢數據,淪為一個不產生實際價值的挖礦項目。

對已有的大多數去中心化存儲進行了分析,我們認為Memo分散式存儲是更好的去中心化存儲系統,是更好的元宇宙存儲基建,這主要從實驗數據和產品設計兩方面得出結論。

Memo分散式存儲

分散式存儲分散式存儲和分散式存儲是兩個看似很接近的名字,兩者主要不同便是存儲設備的分散程度。分散式存儲,所使用的都是集中的數據中心,而分散式存儲,所利用的不只有數據中心,也可以同時利用我們日常中的手機、電腦等多餘的存儲空間。而Memo是目前唯一可以利用邊緣存儲空間、分散式的存儲系統。

元宇宙數據存儲基建:Memo分散式存儲

在技術上,分散式存儲和分散式存儲存在一定的傳承關係,我們可以認為分散式存儲是分散式存儲的升級版,因為兩者最主要的區別是設備的分散程度。從數量上來說,分散式存儲可能利用了100台設備,分散式存儲所利用的設備可能是這一數量的N次方。

亞馬遜雲、阿里雲、微軟雲,這些中心化的雲存儲系統,其都是分散式存儲。其實最早的存儲形式是集中式的,所有的數據集中在一個機房。之所以後來發展成分散式的,是因為這樣可以讓數據更安全。很好理解,數據被存在一個設備上,一旦數據丟失就再也沒法找回來,要是同樣的數據保存在多個設備上,那麼一旦數據在一個設備上丟失,我們還能在其他設備上找回。

上面說,存儲由集中式轉為分散式最大的益處是數據更安全了,同樣的,到了MEMO分散式存儲時代,存儲設備數量進一步增加,數據的安全性當然更上了一個層次。同時,傳統的分散式存儲要依靠於中心化的數據中心,數據中心建設周期漫長,且伴有運維成本,而MEMO分散式存儲調度使用邊緣存儲空間,砍掉了這兩個大的成本環節,因此MEMO會有更低的存儲成本。

Memo分散式存儲相關實驗

目前,最準確的數據是關於RAFI的。RAFI是MEMO分散式存儲在技術領域的創造,由MEMO團隊核心成員之一Alex fang提出,相關論文於2018年發表在國際高級計算機系統組織USENIX學術會議上,RAFI被首先用於MEMO。

元宇宙數據存儲基建:Memo分散式存儲

RAFI由RAFI、ACI、DRPR三項技術共同組成(它們分別是Risk-Aware Failure Identification、Adaptive Check Intervals、Degraded Read with Parallel Recontruction的簡稱)。

針對RAFI的實驗,結果表明,在3副本系統中,相對於傳統的數據失效確認策略,在最好的情況下,RAFI可以提高4倍的可靠性,同時引起的額外的修複流量不會超過全部修複流量的1%。對於糾刪碼系統,高的修復懲罰會導致修複流量的成倍增長,從而極大影響系統的其他服務,因此,在糾刪碼系統中更多關注的修複流量的問題。實驗結果表明,在一個1000節點的RS(6,3)編碼的存儲集群中,相對於傳統的數據失效確認策略,在最好的情況下,RAFI 能夠在提升11倍可靠性並降低45%的不可用時間的同時,減少28%的修復網路流量。

針對ACI的實驗,結果表明,在一個1000個節點的三副本系統中,在最好的情況下,ACI在RAFI的基礎上可以進一步提高3.2倍的可靠性,同時帶來的管理節點的檢測所消耗的CPU時間增加了18%。

針對DRPR的原型實驗,結果表明,大多數情況下,DRPR 的降級讀的延遲可以比現有最好的方案低10%以上。

以上是RAFI的實驗數據,在產品設計上,MEMO還有兩個主要創新點,一是創新數據分層機制,二是創新數據驗證機制。從邏輯層面分析,這兩點創新同樣會使產品的性能相對於原有結構的系統提升。

Memo,更好的元宇宙數據存儲基建

單從安全方面考慮,理想的元宇宙必定是去中心化的存儲方案。通過對已有的去中心化存儲項目進行比較,Memo分散式存儲不僅在安全性上,也在其他關鍵性能,如存儲成本、數據傳輸速度上都體現出明顯的優勢,因此Memo分散式存儲可以作為更好的元宇宙存儲基建。而元宇宙的無限擴展性,帶來的是數據的無限生長,這便也賦予了Memo分散式存儲巨大想象空間。

—-

編譯者/作者:分散式點贊

玩幣族申明:玩幣族作為開放的資訊翻譯/分享平台,所提供的所有資訊僅代表作者個人觀點,與玩幣族平台立場無關,且不構成任何投資理財建議。文章版權歸原作者所有。

0

發表迴響