使用去中心化存储构建最具有弹性网站

煤油灯科技2023-01-24 09:57

今天的大多数网站都遵循后端服务器到前端代码的架构。但在 Web3 应用程序中,前端代码不具有与受智能合约保护的后端代码相同的去中心化、弹性或审查阻力。我想要这个问题的答案:如何使网站像智能合约一样具有弹性?

该体系结构似乎很简单: 

  • 创建一个没有服务器的静态网站。
  • 在分散位置托管代码。
  • 将每个分散位置的说明放在一个地方。

为此,我们不得不深入去中心化存储。了解这些不同的解决方案可以帮助我们创建最不可阻挡的网站。 

1.制作静态网站

由于我们试图成为不可阻挡的,我们需要确保我们没有集中的故障点。如果我们的网站需要对中央控制的服务器进行 HTTPS 调用,我们就创建了一个故障点。 

所以我们需要创建一个静态站点,其中的 HTML、Javascript 和 CSS 文件都是从分散的存储位置提取的,我们没有任何 Javascript 或服务器语言运行代码来帮助支持该站点。 

对于熟悉 Web 开发的任何人来说,这是一项非常微不足道的任务。您可以创建一个包含 HTML、JS 和 CSS 的页面。然后你就完成了。有更高级的框架可以帮助您做到这一点,例如 Gatsby、Hugo 和 Eleventy。 

我们决定使用 NextJS 的静态导出功能来展示,也可以使用 React 或更大的框架来做到这一点,并且我们创建了这个演示站点,它除了展示这只青蛙的图片之外什么都不做,并且有一个指向Discord 通过32 小时的 FreeCodeCamp Javascript & Solidity 课程帮助人们。 

如果我们愿意,我们仍然可以让我们的网站与像以太坊这样的区块链作为后端进行交互。拥有一个去中心化的后端不会增加一层中心化,所以我们可以在那里感到安全。 

现在我们有了我们的网站,我们必须弄清楚在哪里托管它。

2.托管站点:尝试ETH

作为一名 Web3 开发者,我的第一个想法是:为什么不是以太坊? 

现在,我们可以将所有数据存储在以太坊或其他 EVM 链上。但无论我们怎么做,它都会令人作呕且代价高昂。 

与其尝试将我们的文件夹复制粘贴到合约中的存储变量中,更聪明的方法是将整个站点进行 base64 编码,将其编码为一个巨大的 URI,我们可以将其存储在一个存储变量中或多个存储变量中。 

但是在我摆弄了几个小时以使其具有经济意义之后,我放弃了。即使在Arbitrum上,存储所有这些数据似乎也至少要花费我 200 美元。但是,对于较小的站点,这将是一种可行的方法。 

因此,我创建了一个糟糕的网站 SVG,对其进行 base64 编码并将其作为 NFT 发布在 Arbitrum 上。

现在,在我们看我的下一次尝试之前,使用 base64 编码,我用来使数据 URI 更小和更高效的一种方法是将我的网站代码扁平化到一个 HTML 文件中。这意味着手动浏览我的“index.html”文件并用这些文件的 base64 编码替换对其他文件的引用,或者只是将代码复制粘贴到 HTML 文件中。∈d电子X.H吨米升文件并用这些文件的 base64 编码替换对其他文件的引用,或者只是将代码复制粘贴到 HTML 文件中。

这很重要,因为我们将这种扁平化用于未来的尝试。因此,即使我们认为 EVM 合约不是最好的,我们仍然学到了很多东西,我们将在本文结束时回到以太坊,将它们联系在一起——敬请期待。 

3.托管网站:尝试dStorage

所以以太坊和其他 EVM 链不适合存储大量数据。那么,解决方案是什么? 

Sia、Arweave 和 Filecoin。

会注意到我没有提到 IPFS。我们在下文中就会讨论 IPFS。 

Arweave

让我们从Arweave开始。在 Arweave 上存储数据与在以太坊上存储数据几乎完全相同。一旦存储了数据,它就永远存在。这称为“基于区块链的数据持久性”,这意味着每条数据都存储在 Arweave 网络上。正因为如此,区块链本身在记录时目前约为112 TB,即使只存在了大约四五年。 

因此,为了将我的数据存储在 Arweave 上,我需要运行一个 Arweave 节点……我不想这样做,所以我使用了一个名为 arkb 的集中式工具来发送数据以存储我的网站。它类似于以太坊的 Infura 或 Alchemy RPC URL,一种 Arweave 节点即服务。对于 arkb,我不得不稍微扁平化我的网站,因为它只理解相对导入,而不理解 base64 编码的数据 URI。如果我运行自己的 Arweave 节点,我确信我可以使用我的数据 URI。 

流行,我们可以使用这个 Arweave 浏览器查看我们创建的用于将数据存储在 Arweave 上的交易,然后我们可以使用 Arweave 网关从区块链读取数据并呈现我们的网站!Arweave 区块链上的所有数据都是公开的,因此请记住只更新认为大家都能看到的数据!

现在,关于比例的说明。

可能会想,“哇,112 TB 的数据量很大,Arweave 链如何保持增长才可行?” Arweave 有一些聪明的共识机制,可以不必在每个节点上拥有每一条数据,对数据存储成本进行了研究,并认为数据存储将变得越来越便宜,因此不断增长的链规模不会。这不是问题——但这是区块链面临的一个普遍问题,称为“状态膨胀”。 

显示状态膨胀如何成为指数问题的图表。

状态膨胀是指区块链有大量无用的数据,没有人需要或访问这些数据,但由于共识的工作方式,您需要所有数据来计算未来数据的哈希值。

因此,Sia和Filecoin网络采用了不同的数据持久化方法,而不是使用“基于合同”的方法。

Sia

Sia网络由主机组成,这些主机通过合同协议与租户存储数据,合同存储在Sia的工作证明区块链上。

有了Sia,我可以通过查看文档来毫无问题地建立一个节点并运行自己,而区块链只有大约40 GB,这是因为该链存储了协议的信息,而不是数据本身。它甚至还带有UI!然后我就可以将我们的数据放到UI中,与Sia区块链上的其他节点达成交易。

Sia使用周期性的挑战来迫使主机保存数据,如果他们无法提交证据证明他们拥有数据,他们将受到经济处罚。

图中显示了Sia如何使用周期性挑战来强制主机保存数据。

现在是我们遇到第一个障碍的地方。Sia区块链是一个安全第一链,我们的数据在存储时,实际上会在许多主机之间进行分割和加密,只有存储数据的人拥有解密数据的私钥。因此,即使我可以看到数据的交易哈希,也只有我可以访问它,因为我是唯一拥有私钥的人。

这就是Skynet的由来,Skynet是一种工具,允许人们在其他人的节点上租用数据,这是一种开源的Sia-a-a服务。如果我们将数据上传到其他人的天网门户网站,这些门户网站会提供一种方法,使用我们上传的文件夹或文件的哈希值自动呈现网站。

这种方法的一个主要问题是,我们必须相信他们给了我们良好的数据,并且没有篡改数据。这意味着网站也不会势不可挡。如果他们倒下,我们就会失去场地。我们可以运行自己的门户网站,让人们可以访问我们的数据,并在我们的网站上张贴证明,以便用户可以在自己的一侧进行验证,但用户需要掌握一些领域知识才能了解发生的情况。

如果我们想创建一个不可阻挡的网站,只有我们才能访问,比如内部网或私人文档,Sia是完美的选择。

Sia社区正在努力让这一切在未来变得更加容易,我在他们的Discord中与他们进行了一些精彩的对话。

IPFS

现在,让我们快速讨论IPFS。可能看到我们对NFT数据使用IPFS。IPFS是存储公共分布式数据的极好工具。将数据放在IPFS节点上,得到一个哈希,然后可以与运行节点的其他人共享该哈希以验证数据。但它缺乏数据持久性。任何人都可以将数据添加到IPFS网络,允许任何人访问它,但如果没有人将数据固定,则没有人可以从哈希中获取数据。而且,没有任何动机让某人锁定数据。

因为它是分布式数据的一个快速而可靠的选择,所以我们确实将我们的站点发布到了IPFS,并且我们至少将其固定到了我们的节点上。如果全世界的人都自己钉住了我们的网站,我们的网站可能会变得势不可挡。

我们所要做的就是对站点进行静态导出,并将整个文件夹固定到IPFS上,现在我们只需将CID放置到与IPFS兼容的任何浏览器中,或者任何具有IPFS扩展名的浏览器中。

Filecoin 

现在,Filecoin开始出现了。Filecoin是一种区块链,它为人们保存数据提供了经济激励,并在我们的IPFS哈希之上添加了数据持久性。

然而,即使在我自己运行了一个节点之后,现在将Filecoin与IPFS结合使用对我的大脑来说也太困难了。所以我打了web3.storage来帮助我。web3.storage是一个集中的站点,有助于促进分散存储交易。这可能会阻止我的交易进入Filecoin,然后我只需要自己重新思考如何通过Filecoin节点获得交易。但一旦我将数据上传到Filecoin,我就不再需要它们了(呵呵)。

与Sia类似,Filecoin使用“基于合约的”数据持久性,但它不会“加密”数据。这意味着它隐藏在视图中,但任何人都可以支付检索节点来检索数据。

可以通过查看Filfox块浏览器(或浏览我们的节点)来了解我们的站点在Filecoin网络上的持续时间。Filecoin节点也是底层的IPFS节点,可以选择将数据固定到IPFS。然后,我们也可以获取CID并将其放入IPFS节点,以呈现存储在Filecoin上的数据。

可以把Filecoin想象成一个巨大的市场,就像Sia,节点在那里接受合同并放置抵押品来存储你的数据。然后,区块链通过请求随机数据片段来周期性地挑战随机节点。如果他们丢弃数据,他们将受到惩罚。

因此,我们可以确保我们的网站在Filecoin上是安全的,如果我们想将其永久保存在IPFS节点上,我们只需要在每次启动时重新启动合同。目前,在Filecoin合同上的时间不能超过两年,而且节点比Sia节点大得多。

Filecoin有TB大,这增加了我在运行节点时的一些挫败感。此外,Filecoin不会自动将数据固定到IPFS,这很好,因为我们也希望能够在Filecoin上存储数据,但大多数Filecoin节点都有这样的选择。我们确实遇到了一点集中化问题,因为我们必须相信我们的Filecoin节点将固定我们的数据,并且没有激励他们固定数据。我们可以让某人支付Filecoin节点以获取数据并显示CID,以确保它是我们想要的数据,但这些解决方案仍在研究中。

因此,我们遇到了Sia没有私钥或访问节点的问题,如果节点不锁定我们的数据,我们是唯一可以查看我们网站的人。或者,需要在任何时候从网络中提取数据。

把它带回来

因此,为了让我们的网站真正势不可挡,我们:

  • 拍摄了该网站的快照并将其存储在以太坊上。
  • 将我们的网站存储在Arweave区块链上。
  • 将我们的网站存储在Sia区块链上,这样至少我们可以随时访问该网站。
  • 我们自己把它固定在IPFS上。
  • Filecoin节点也将其固定到IPFS。

所以我们很好,对吧?这可能是过度的,但我们通过使用多个dStorage位置使我们的站点变得多余。我们需要做的最后一件事是进行某种类型的映射,即我们的站点映射到这些不同的dStorage位置。

如果我们能有一个人类可读的网站版本,而不是这些散列,那就太好了。

幸运的是,我们知道有一条链是牢固的,我们可以使用它将人类可读的名称映射到这些不同的位置,这就是以太坊名称服务。

ENS是ETH区块链上的智能合约,可以将人类可读的名称映射到这些更复杂的哈希。我们购买了一个名为“unstopablefrog.eth”的名称,并将我们的IPFS哈希添加到内容部分。有一个集中的服务器可以映射。将域名设置为名称的内容哈希中的任何内容,因此如果我在地址栏中输入“unstoppable frog.eth”,我就会得到我们网站的呈现。

如果服务器宕机,任何人都可以自己来智能合约并获取哈希,因此我们的数据是永久安全的。如果我们的IPFS哈希值下降,我们可以查看描述部分并查看所有这些备份,任何人都可以路由到其中一个描述,而不只是从内容中提取。这为某人提供了一个规范的位置来读取存储数据的所有不同的分散位置。

希望我们的网站势不可挡。

Tor

我们可以做的最后一件事是在ENS数据中添加一个独立域名(onion address)。独立域名(onion address)是一个通过Tor浏览器的网站,Tor浏览器是一个帮助匿名用户的对等网络。将我们的网站放在Tor上会增加一个难以删除的托管位置。

显示Tor如何加密数据的图表。原始来源:https://2019.www.torproject.org/about/overview.html.en

总结

我希望能从中学到了很多。下面是包含我所有代码、实验和笔记的GitHub回购,我期待着将来使用dStorage作为智能合约的数据库,Chainlink作为连接两者的中间件。


原文链接:https://blog.chain.link/unstoppable-website-dstorage/

 

---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章