如果我们要为互联网的去中心化铺平道路,我们最终会集中在三个支柱上:共识、存储和计算。 如果人类成功地实现了这三个方面的去中心化,我们将完全实现向互联网的下一个迭代的进展:Web3。

图1:实现web3大支柱的项目的说明性片断
存储,第二个支柱,正在迅速成熟,出现了各种适合特定用途的存储解决方案。在这篇文章中,我们将仔细研究分散式存储支柱。
去中心化存储的必要性
区块链的角度
从区块链的角度来看,我们需要去中心化的存储,因为区块链本身并不是为了存储大量的数据而设计的。用于实现区块链共识的机制依赖于少量的数据(交易)被安排在区块中(交易的集合),并且这些被快速地在网络上共享,以供节点验证。
首先,将数据存储在这些区块中是非常昂贵的。在撰写本文时,直接在L1网络上存储BAYC #3368的整个图像数据可能要花费超过18,000美元。

图2:具有活动主网络的项目。选择200年的储存期限,以符合Arweave对永久性的定义。
其次,如果我们在这些块中存储大量任意数据,网络拥塞将严重增加,从而导致用户通过天然气竞价战使用网络的价格上涨。这是区块隐含时间价值的结果——如果用户需要在特定时间向网络提交交易,他们将支付更多的天然气费用,以优先处理交易。
因此,建议将NFT以及dApp前端的底层元数据和图像数据离线存储。
集中式网络视角
如果在区块链上存储数据如此昂贵,为什么不将链下数据存储在集中式网络上呢?
集中式网络容易受到审查,并且是可变的。它们要求用户信任存储提供商以确保数据安全。无法保证集中式网络的运营商能够不辜负对他们的信任:数据可能会被故意或意外删除,例如,由于存储提供商的策略更改、硬件故障或受到第三方的攻击。
NFT
由于一些NFT收藏的底价超过10万美元,而一些收藏的价值高达每kb图像数据7万美元,因此承诺不足以保证数据随时可用。需要更大的保证来确保基础NFT数据的不变性和永久性。

图3:Crypto Punk底价基于最后一次销售(在撰写本文时没有底价);Crypto Punk图像大小基于Crypto Punks V2链上字节串的字节长度。截至2022年5月10日的数据。
NFT本身实际上并不包含任何图像数据,相反,它们包含一个指向元数据和图像数据的指针,这些数据被存储在链外。正是这些元数据和图像数据需要被保护,因为如果它消失了,NFT将只是一个空的容器。

图4:区块链、区块、NFT和链外元数据的简化图示。
可以说,NFT的价值主要不是由它们所指的元数据和图像数据驱动的,而是由围绕其收藏品建立运动和生态系统的社区驱动的。虽然这可能是真的,但如果没有基础数据,NFT就没有意义,而没有意义,社区就无法形成。
除了个人资料照片和艺术收藏品之外,NFT还可以代表现实世界资产的所有权,如房地产或金融工具。这样的数据拥有外在的现实世界的价值,由于它所代表的内容,保存支撑NFT的每一个字节的数据至少与链上NFT一样有价值。
dApp
如果NFT是生活在区块链上的商品,那么dApps可以被认为是生活在区块链上并促进与区块链互动的服务。dApps是存在于链外的前端用户界面和存在于网络上并与区块链互动的智能合约的组合。有时,这些也有一个简单的后台,将某些计算转移到链外,以减少所需的gas,从而减少终端用户在某些交易中产生的成本。

图5:dApp与区块链交互的简化图示。
虽然dApp的价值应该结合dApp的目的(例如,DeFi、GameFi、社交、元宇宙、名称服务等)来考虑,但dApp所带来的价值之大令人震惊。在撰写本文时,DappRadar上排名前十的dApp在过去30天内总共促成了1500亿美元以上的转账。

图6:DappRadar报告的截至2022年5月11日最受欢迎的dApp(以美元计)。
尽管dApp的核心机制是通过智能合约来执行的,但最终用户的可访问性是通过其前端来保证的。因此,从某种意义上说,确保dApp前端可用性就是确保底层服务的可用性。

图7:Aave Stani Kulechov在推特上表示,Aave dApp前端于2022年1月20日离线,但仍可通过IPFS托管的网站副本访问。
去中心化存储降低了服务器故障、DNS黑客攻击或集中实体删除对dApp前端访问的可能性。即使dApp的开发停止,前端和通过该前端访问智能合约的情况也会持续下去。
去中心化的存储环境
比特币和以太坊等区块链的存在主要是为了促进价值转移。当谈到去中心化存储网络时,一些网络也采用这种方法:它们使用本地区块链来记录和跟踪存储订单,这代表了价值转移,以换取存储服务。然而,这只是许多潜在方法中的一种——存储领域非常广阔,多年来出现了具有不同权衡和使用案例的不同解决方案。

图8:一些任意选择的去中心化存储协议概述(非详尽)
尽管存在许多差异,但上述所有项目都有一个共同点:这些网络都没有像比特币和以太坊区块链那样跨所有节点复制所有数据。在去中心化存储网络中,存储数据的不可变性和可用性不是通过存储所有数据并验证连续链接的数据的大部分网络来实现的,比特币和以太坊就是如此。尽管如前所述,许多网络选择使用区块链来跟踪存储订单。
让去中心化存储网络上的所有节点存储所有数据是不可持续的,因为运行网络的开销成本会迅速提高用户的存储成本,并最终促使网络更加集中化,集中化的是能够负担其硬件成本的少数节点运营商。
因此,去中心化存储网络需要克服的挑战非常不同。
围绕去中心化数据的挑战
回顾前面提到的链上数据存储的限制,很明显,去中心化存储网络必须以不影响网络价值转移机制的方式存储数据,同时确保数据保持持久、不变和可访问。本质上,去中心化存储网络必须能够存储数据、检索数据和维护数据,同时确保网络中的所有参与者都受到存储和检索工作的激励,同时保持去中心化系统的无信任性质。
这些挑战可以概括为以下问题:
- 数据存储格式:存储完整文件还是文件碎片?
- 数据复制:跨多少节点存储数据(完整文件或片段)?
- 存储跟踪:网络如何知道从哪里检索文件?
- 数据存储证明:节点是否存储了要求存储的数据?
- 数据随时间的可用性:数据是否仍随时间存储?
- 存储价格发现:如何确定存储成本?
- 持久数据冗余:如果节点离开网络,网络如何确保数据仍然可用?
- 数据传输:网络带宽是有代价的——如何确保节点在被要求时检索数据?
- 网络标记学:除了确保网络上的数据可用外,网络如何确保网络长期存在?
作为本研究的一部分,已探索的各种网络采用了一系列具有一定权衡的机制来实现权力下放。

图9:已审查存储网络的技术设计决策摘要
要对上述网络的每一个挑战进行更深入的比较,以及每一个网络的详细概况,请参阅Arweave或Crust Network上的完整研究文章。
数据存储格式

图10:数据复制和数据擦除编码
在这些网络中,有两种主要方法用于在网络上存储数据:存储完整文件和使用擦除编码:Arweave和Crust network存储完整文件,而Filecoin、Sia、Storj和Swarm都使用擦除编码。在擦除编码中,数据被分解为恒定大小的片段,每个片段都用冗余数据进行扩展和编码。保存到每个片段中的冗余数据使得只需要片段的一个子集就可以重建原始文件。
数据复制
在Filecoin、Sia、Storj和Swarm中,网络确定擦除编码片段的数量以及每个片段中存储的冗余数据的范围。然而,Filecoin还允许用户确定一个复制因子,该因子决定了作为与单个存储矿工的存储交易的一部分,擦除编码片段应该在多少个单独的物理设备上复制。如果用户想用不同的存储矿工存储文件,那么用户必须进行单独的存储交易。Crust和Arweave允许网络控制复制,而在Crust上可以手动设置复制因子。在Arweave上,存储证明机制激励节点存储尽可能多的数据。因此,Arweave的复制上限是网络上存储节点的总数。

图11:数据存储格式将影响检索和重建用于存储和复制数据的方法将影响网络检索数据的方式。
存储跟踪
在数据以网络存储的任何形式分布在网络中的节点上之后,网络需要能够跟踪存储的数据。Filecoin、Crust和Sia都使用本地区块链来跟踪存储订单,而存储节点也维护本地网络位置列表。Arweave使用类似区块链的结构。与比特币和以太坊等区块链不同,在Arweave上,节点可以自行决定是否存储区块中的数据。因此,如果比较Arweave上多个节点的链,它们将不完全相同——相反,某些节点上的某些块将丢失,而其他节点上的这些块将丢失。

图12:blockweave中三个节点的图解
最后,Storj和Swarm使用了两种完全不同的方法。在Storj中,称为卫星节点的第二种节点类型充当一组存储节点的协调器,这些存储节点管理和跟踪数据的存储位置。在Swarm中,数据的地址直接嵌入数据块中。当检索到数据时,网络会根据数据本身知道在哪里查找。
数据存储证明
在证明数据存储方式时,每个网络都采用自己独特的方法。Filecoin使用复制证明——一种专有的存储证明机制,它首先将数据存储在存储节点上,然后将数据密封在扇区中。密封过程使得相同数据的两个复制片段可以证明彼此是唯一的,从而确保网络上存储了正确数量的副本(因此,“复制证明”)。
Crust将一段数据分解成许多较小的片段,这些片段被散列到Merkle树中。通过将存储在物理存储设备上的各条数据的哈希结果与预期的Merkle树哈希进行比较,Crust可以验证文件是否正确存储。这与Sia的方法类似,区别在于Crust在每个节点上存储整个文件,而Sia存储擦除编码的片段。Crust可以通过使用节点Trusted Execution Environment(TEE)将整个文件存储在单个节点上,并仍然实现隐私,TEE是一个密封的硬件组件,即使硬件所有者也无法访问。Crust将这种存储证明算法称为“有意义的工作证明”,而有意义的表示只有在对存储的数据进行更改时才计算新的哈希,从而减少了无意义的操作。Crust和Sia都将Merkle树根哈希存储在区块链上,作为数据完整性验证的真实来源。
Storj通过数据审计检查数据是否正确存储。数据审计类似于Crust和Sia如何使用Merkle树来验证数据片段。在Storj上,一旦足够多的节点返回了审核结果,网络就可以根据多数响应确定哪些节点有故障,而不是与区块链的真实来源进行比较。Storj中的这一机制是有意的,因为开发人员认为,通过区块链减少网络范围的协调可以在速度(无需等待共识)和带宽使用(无需整个网络定期与区块链通信)方面提高性能。
Arweave使用密码工作证明拼图来确定文件是否已存储。在这种机制中,为了让节点能够挖掘下一个块,他们需要证明他们可以访问网络块历史中的前一个块和另一个随机块。因为在Arweave中,上传的数据直接存储在块中,证明对前一块的访问证明了存储提供商确实正确保存了文件。
最后,在Swarm上也使用了Merkle树,不同的是Merkle不用于确定文件位置,而是将数据块直接存储在Merkle树中。当在swarm上存储数据时,树的根哈希(也是存储的数据的地址)证明文件被正确地分块和存储。
数据随时间变化的可用性
在确定数据存储在一定时间段时,每个网络都使用一种独特的方法。在Filecoin中,为了减少网络带宽,存储矿工需要在数据存储的时间段内连续运行复制证明算法。每个时间段的哈希值证明存储空间在特定时间段内被正确的数据占用,因此是“时空证明”。
Crust、Sia和Storj定期对随机数据片段进行验证,并将结果报告给其协调机制——Crust和Sia的区块链以及Storj的卫星节点。Arweave通过其访问证明机制确保数据的一致可用性,该机制要求矿工不仅要证明他们有权访问最后一个区块,而且要证明他们可以访问随机历史区块。存储更古老和更稀有的区块是一种激励,因为这增加了矿工赢得工作证明难题的可能性,而进入特定区块是先决条件。
另一方面,Swarm定期运行抽奖活动,奖励节点在一段时间内持有不太受欢迎的数据,同时还为节点承诺存储更长时间的数据运行所有权证明算法。
Filecoin、Sia和Crust需要节点存放抵押品才能成为存储节点,而Swarm只需要长期存储请求。Storj不需要预付抵押品,但Storj将从矿工那里扣留部分存储收入。最后,所有网络在其可证明存储数据的时间段内,以一定的间隔定期向节点支付费用。
存储价格
发现为了确定存储的价格,Filecoin和Sia使用存储市场,在存储市场中,存储供应商设置他们的要价,存储用户设置他们愿意支付的价格,以及其他一些设置。然后,存储市场将用户与满足其要求的存储提供商联系起来。Storj采用了类似的方法,其关键区别在于,没有一个网络范围的市场与网络上的所有节点连接。相反,每个卫星都有自己的一组与之交互的存储节点。
最后,Crust、Arweave和Swarm都让协议决定存储的价格。Crust和Swarm允许根据用户的文件存储要求进行某些设置,而在Arweave上,文件总是永久存储。
持久数据冗余
随着时间的推移,节点将离开这些开放的公共网络,当节点消失时,它们存储的数据也会消失。因此,网络必须主动地在系统中保持一定程度的冗余。Sia和Storj通过收集片段子集,重建底层数据,然后对文件重新编码以重新创建丢失的片段,来补充丢失的擦除编码片段,从而实现这一点。在Sia中,用户必须定期登录Sia客户端以补充碎片,因为只有客户端能够区分哪些数据碎片属于哪一段数据和用户。在Storj上,Satellite承担了始终在线并定期运行数据审计以补充数据碎片的责任。
Arweave的访问证明算法确保数据始终在整个网络中定期复制,而在Swarm上,数据会复制到彼此相邻的节点。在Filecoin上,如果数据随着时间的推移而消失,并且剩余的文件碎片低于某个阈值,则存储顺序将重新引入存储市场,允许另一个存储矿工承担该存储顺序。最后,地壳的补给机制目前正在开发中。
激励数据传输
随着时间的推移,数据被安全存储后,用户将希望检索数据。由于带宽是有代价的,因此必须激励存储节点在需要时提供数据。Crust和Swarm使用债务和信用机制,其中每个节点都跟踪其与其他节点交互的入站和出站流量。如果一个节点只接收入站流量,而不接收出站流量,那么它将被降级用于未来的通信,这可能会影响它接受新存储订单的能力。Crust使用IFPS Bitswap机制,而Swarm使用名为SWAP的专有协议。在Swarm的SWAP协议中,网络允许节点用postage stamp来偿还债务(只接受出站流量不足的入站流量),这些postage stamp可以兑换为他们的实用代币。

图13:Swarm Accounting Protocol(SWAP)。
这种对节点强力的跟踪也是Arweave确保数据在请求时被传输的方式。在Arweave中,这种机制被称为wildfire,节点会优先考虑排名较好的对等体,并相应地合理安排带宽使用。最后,在Filecoin、Storj和Sia上,用户最终为带宽付费,从而激励节点在请求时交付数据。
代币组学
Tokenomics设计确保了网络的稳定性,也确保了网络将长期存在,因为最终数据只有在网络中才是永久的。在下面的表格中,我们可以找到一个关于tokenomics设计决策的简要总结,以及嵌入在各自设计中的通货膨胀和通货紧缩机制。
关于每个项目的tokenomics的详细介绍,请查看Arweave或Crust Network的完整论文。

图14:审查存储网络的Tokenomics设计决策
哪个网络是最好的?
要说一个网络客观上比另一个好是不可能的。当设计一个去中心化的存储网络时,有无数的问题必须被考虑。虽然Arweave对于数据的永久存储很好,但Arweave不一定适合将Web2.0的行业参与者转移到Web3.0——不是所有的数据都需要永久化。然而,有一个强大的数据子行业确实需要永久性:NFT和dApp。
最终,设计决定是基于网络的目的而做出的。
下面是各种存储网络的总结性简介,在下面定义的一组尺度上对它们进行相互比较。所用的尺度反映了这些网络的比较维度,但应该注意的是,克服分散存储挑战的方法在许多情况下并没有更好或更差,而只是反映了设计决策。
- 存储参数的灵活性:用户对文件存储参数的控制程度
- 存储的持久性:文件存储在多大程度上可以通过网络实现理论上的持久性(即没有干预)。
- 冗余持久性:网络通过补充或修复维持数据冗余的能力
- 数据传输激励:网络确保节点传输数据的程度
- 存储跟踪的普遍性:节点之间就数据的存储位置达成共识的程度
- 保证数据的可访问性:网络确保存储过程中的单一行为者不能取消对网络上文件的访问的能力。
分数越高,说明上述每一项的能力越强。
Filecoin的tokenomics支持增加整个网络的存储空间,这有助于以不可改变的方式存储大量的数据。此外,他们的存储算法更适合那些不太可能随时间变化的数据(冷存储)。

图15:Filecoin的总结性资料
Crust的tokenomics确保了具有快速检索速度的超冗余,这使得它适用于高流量的dApp,并使其适用于快速检索流行的NFT的数据。
Crust在存储的持久性方面得分较低,因为没有持久的冗余,它提供永久存储的能力受到严重影响。尽管如此,仍然可以通过手动设置一个极高的复制系数来实现永久性。

图16:Crust的总结性资料
Sia是关于隐私的。之所以需要用户手动恢复健康,是因为节点不知道他们存储了哪些数据片段,以及这些片段属于哪些数据。只有数据所有者可以从网络中的碎片中重建原始数据。

图17:Sia的总结性资料
相比之下,Arweave的宗旨是持久性。这也反映在他们的设计中,这使得存储成本更高,但也使他们成为NFT存储的一个极具吸引力的选择。

图18:Arweave的总结性资料
Storj的商业模式似乎在很大程度上影响了他们的计费和支付方式。亚马逊AWS S3用户更熟悉按月计费。通过去除基于区块链的系统中经常出现的复杂的支付和激励系统,Storj实验室牺牲了一些去中心化,但大大降低了他们的关键目标群体AWS用户的准入门槛。

图19:Storj的总结性资料
Swarm的粘合曲线模型确保存储成本在网络上存储更多的数据时保持相对较低的水平,而且它接近以太坊区块链,使其成为更复杂的基于以太坊的dApps的主要存储的有力竞争者。

图20:Swarm的总结性资料
对于去中心化存储网络所面临的各种挑战,没有单一的最佳方法。根据网络的目的和它试图解决的问题,它必须在网络设计的技术和象征性方面做出权衡。

图21:经审查的存储网络的强大使用案例总结
最后,网络的目的和它试图优化的具体使用情况将决定各种设计决策。
下一个前沿阵地
回到Web3的基础设施支柱(共识、存储、计算),我们看到去中心化的存储空间有少数强大的参与者,他们已经在市场上为自己的特定用例定位了。这并不排除新的网络优化现有的解决方案或占据新的利基,但这确实提出了一个问题:下一步是什么?
答案是:计算。实现真正去中心化的互联网的下一个前沿是去中心化的计算。目前,只有少数解决方案为市场带来了无信任、去中心化的计算解决方案,可以为复杂的dApps提供动力,而dApps能够以远低于区块链上执行智能合约的成本进行更复杂的计算。
互联网计算机(ICP)和Holochain(HOLO)是在撰写本文时在去中心化计算市场上占据强大地位的网络。尽管如此,计算空间还没有像共识和存储空间那样拥挤。因此,强大的竞争对手迟早会进入市场,并对自己进行相应的定位。Stratos(STOS)就是这样一个竞争者。Stratos通过其去中心化的数据网格技术提供了独特的网络设计。
我们认为去中心化计算,特别是Stratos网络的网络设计,是未来研究的领域。
原文链接:https://fundamentallabs.substack.com/p/decentralized-storage-a-pillar-of
---煤油灯科技victorlamp.com翻译整理---









