
Graph生态系统在过去一年中大幅增长,现在有五个核心开发团队全职工作,以增强Graph在全球范围内的索引和查询能力。StreamingFast是继Edge和Node之后加入的第一个核心开发团队,它为协议的进一步发展带来了难以置信的人才库和强大的技术。最激动人心的创新之一即将实现:子流。
StreamingFast(前身为dfuse)成立于2018年,提供高性能、跨链的中心化索引服务。与Edge和Node团队的互动使StreamingFast确信,去中心化是未来构建的最有效和可扩展的方式。随后,StreamingFast接受了Graph基金会的资助,并于2021年6月加入Graph核心开发团队,全职致力于Graph生态系统。这种去中心化的并购是同类的第一次(但不是最后一次)。
在加入Graph核心开发团队时,StreamingFast带来了Firehose,一种从区块链摄取数据的高性能方法,并开始将其集成到Graph中。当时,一个极其复杂的子图可能需要数周的时间才能同步,这会给在Graph上构建的开发人员造成摩擦。StreamingFast创建了一个名为Sparkle的原型,该原型有助于将该子图上的同步时间从数周减少到6小时左右。现在,StreamingFast已经发展了Sparkle的功能,并创建了可以在所有链上的所有子图扩展的子流。
子流如何工作
基于RPC的子图具有用于处理区块链数据的线性索引模型(即它们按顺序一次处理一个事件)。它们通过轮询对以太坊客户端的API调用来实现这一点。Firehose技术使用推送模型的数据流取代那些轮询API调用,并更快地将数据发送到索引节点。这有助于提高同步和索引的速度。
通过支持大规模并行流数据,子流将事情做得更进一步。子流可以通过强大的新方法进行组合和聚合,以在很短的时间内将数据馈送到子图或最终用户应用程序中。通过子流并行化,一些子图的同步速度可以提高100倍以上。
通过子流,数据管道可以分为四个阶段:
- 提取(通过Firehose)
- 变换(通过子流和子图)
- 加载(到postgres数据库)
- 查询(向用户提供查询)
通过子流的第一个变换允许更轻量级的并行计算和可组合性,许多子图可以从中受益。
举例说明:在大型DEX的实例中——需要为任何给定交易寻找交易对——子流模型使单个小模块能够同时处理配对、储备提取器、价格、体积聚合和其他关键指标。如果开发人员将其工作基于现有的子流,他们可以采用DEX价格并创建一个模块来平均整个生态系统中的所有DEX价格。
子流模块不通过postgresQL。可以利用现有模块,开发人员可以对其进行调整,允许最终用户利用可组合性,而无需为索引付出性能代价。
在提取和转换阶段之后,可以以无限多的方式组合子流,使另一个模块能够在加载操作之前填充到子图中。
与线性历史数据处理相反,子流数据可以并行处理和缓存。这允许最快地插入postgres数据库,从几天或几周到仅仅几个小时。
这一切都为开发者带来了好处。开发人员需要构建子图,并且应该能够尽可能快地迭代这些子图,从而最大限度地提高开发人员的生产力。开发人员将能够迭代现有模块,重用最高效的流程(例如在DEX示例中),使用增量迭代进行改进,而无需重建新的子图。他们将能够观察数据,并根据需要添加到数据库中。子图和子流的速度和数据可组合性,通过Firehouse拉动数据,将使Graph成为从区块链获取数据的最快和最有效的方式。
这就是开源数据通Graph的可组合性的力量:开发人员在全球生态系统中构建可组合数据的头脑。集中式服务无法竞争。
流程中的当前阶段
已建立并正在测试子流的初始实现。核心开发人员正在与一小群开发人员合作,以改进软件。请留意有关开发人员可用性的公告。
感谢所有致力于此的核心开发团队(特别是StreamingFast!)。我们迫不及待地想让开发人员体验到子流带来的更快的索引性能。
关于Graph
Graph是web3的索引和查询层。开发人员构建并发布称为子图的开放API,应用程序可以使用GraphQL查询这些API。该Graph目前支持来自32个不同网络的数据进行索引,包括以太坊、NEAR、Arbitrum、Optimism、Polygon、Avalanche、Celo, Fantom、Moonbeam、IPFS和PoA,不久将有更多网络。到目前为止,托管服务上已经部署了38000多个子图,现在可以直接在网络上部署子图。超过28000名开发者已经为Uniswap、Synthetix、KnownOrigin、Art Blocks、Gnosis、Balancer、Livepeer、DAOstack、Audius、Decentraland等应用程序构建了子图。
Graph Network于2021年7月开发者自助服务体验;自那时以来,已有超过232个子图迁移到网络,迄今为止有超过161个索引器服务于子图查询,8600多个委托人和2300多个策展人。到目前为止,已发出超过300万个GRT的信号,每个子图的平均GRT为15K。
如果是开发应用程序或web3应用程序的开发人员,可以使用子图来索引和查询区块链中的数据。Graph允许应用程序高效、高性能地在UI中显示数据,并允许其他开发人员也使用您的子图!可以使用新启动的subgraph Studio将子图部署到网络,或查询Graph浏览器中的现有子图。Graph非常欢迎您成为Graph mainnet上的索引者、策展人和/或授权人。加入Graph社区,在Graph Discord中介绍自己进行技术讨论,加入Graph的Telegram聊天,并在Twitter、LinkedIn、Instagram、Facebook、Reddit和Medium上关注Graph!Graph的开发者和社区成员愿意与您聊天交流,Graph生态系统拥有一个不断增长的、相互支持的开发者社区。
Graph基金会负责监督Graph网络。Graph基金会由技术委员会监督。Edge&Node、StreamingFast、Figment、Semicologic和Guild是Graph生态系统中许多组织中的五个。
关于StreamingFast
StreamingFast是web3的建造者和投资者。作为Graph的核心开发人员,它擅长构建大规模可扩展的开源软件,用于处理和索引区块链数据。该公司由一群系列科技企业家组成,在大规模数据科学领域拥有深厚的专业知识。其核心创新Firehose,是一种基于文件的流式优先处理区块链数据的方法,能够在高通量链上实现高性能索引。
原文链接:https://thegraph.com/blog/substreams-parallel-processing
---煤油灯科技victorlamp.com翻译整理---