摘要
Google设计并实现的文件系统GFS是一个可扩展的分布式文件系统,用于大型分布式数据密集型应用。它在廉价的通用硬件上提供运行时容错能力,并为大量客户端提供高聚合处理性能。
虽然与以前的分布式文件系统有许多相同的目标,但我们的设计是基于对当前和未来预期的应用程序工作负载和技术环境的观察,这反映了与早期一些文件系统假设的显著不同。这促使我们重新审视传统的选择,探索根本不同的设计思路。
文件系统已成功满足我们的存储需求。它被广泛部署在谷歌内部,作为存储平台,用于生成和处理我们服务使用的数据,以及需要大型数据集的研发工作。迄今为止最大的群集在1000多台计算机上的数千个磁盘上提供数百TB的存储,数百个客户端可以同时访问它。
在本文中,我们介绍了用于支持分布式应用程序的文件系统接口扩展,讨论了我们设计的许多方面,并从微观基准测试和实际使用两方面进行了测量评估。
1. 介绍
谷歌文件系统(GFS),以满足谷歌数据处理需求的快速增长。GFS与以前的分布式文件系统有许多相同的目标,如性能、可扩展性、可靠性和可用性。然而,它的设计是基于对当前和预期的应用程序工作负载和技术环境的关键观察,这反映了与一些早期文件系统设计假设的显著不同。我们重新审视了传统的选择,设计中采用了根本性不同的思路,如下:
首先,组件故障是常态,而不是例外。该文件系统由数百台甚至数千台存储机器组成,这些机器是由廉价的通用部件构建的,并且可由相当数量的客户端访问。组件的数量和质量实际上必然有部分组件在任何给定时间都无法正常工作,进而有部分组件则无法从当前故障中恢复。我们会看到由应用程序错误、操作系统错误、人为操作错误以及磁盘、内存、连接器、网络和电源故障引起的问题。因此,持续监控、错误检测、容错和自动恢复必须是系统的组成部分。
其次,按照传统标准,文件是巨大的。多GB文件是常见的。每个文件通常包含许多应用程序对象,例如web文档。当我们定期处理由数十亿个对象组成的、由许多TB组成的快速增长的数据集时,即使文件系统能够支持,管理数十亿个大小约为KB的文件也是非常困难的。因此,必须重新考虑文件系统的设计假设和参数,如I/O操作和块大小。
第三,大多数文件的修改都是通过添加新数据而不是覆盖现有数据进行。文件中的随机写入需求在实际应用中是不存在的。一旦写入,文件就只能读取,而且通常只能按顺序读取。大量的数据都具有这种特征,有些可能构成数据分析程序扫描的大型存储仓库,有些可能是由运行的应用程序连续生成的数据流,有些可能是存档数据,有些可能是在一台机器上产生并在另一台机器上处理的中间结果,无论是实时数据还是稍后同步。考虑到这种对大型文件的访问模式,文件追加操作成为性能优化和原子性保证的重点,而在客户端缓存数据块则失去了必要性。
第四,应用程序和文件系统API协同设计,增加灵活性,有利于整个系统。
例如,我们放宽了GFS的一致性模型,以大大简化文件系统,而不会给应用程序带来沉重的负担。我们还引入了一个文件内容增加的原子操作,这样多个客户端可以并发地把内容增加到一个文件中,而无需在它们之间进行额外的同步。这些将在本文后面进行更详细的讨论。
目前部署了多个GFS集群,用于不同的目的。最大的服务器有超过1000个存储节点,超过300 TB的磁盘存储,并且在不同的机器上持续被数百个客户端大量访问。
2. 设计概述
2.1 设计的出发点
在为我们的实际需求设计文件系统时,既有挑战又有机遇。我们在前面提到了一些关键的要求和假设,现在更详细地阐述了我们的设想:
- 该系统由许多经常发生故障的廉价通用组件构成。它必须持续监控自身、检测、容错和在有些组件失效的时候能够迅速恢复业务。
- 存储大文件,减少文件数量,而不是少量的小文件。我们预计会有几百万个文件,每个文件的大小通常为100MB或更大,几个GB文件是常见的情况,应进行有效管理。必须支持小文件,但对小文件的操作不是我们的优化重点。
- 工作负载主要包括两种读取模式:大规模的流式读取和小型的随机读取。在大规模流式读取中,单个操作通常读取数百KBs,多数情况为1MB或更多。来自同一客户端的连续操作通常读取文件的连续区域。小的随机读取通常以任意偏移量读取几KBs。注重性能的应用程序通常会对其小读取进行批处理和排序,以便在文件中稳定地前进,而不是来回移动工作负载还具有许多将数据追加到文件中的大型顺序写入。
- 典型的写操作大小与读取的操作大小相似。一旦写入,文件很少再被修改。支持在文件的任意位置进行小写操作,但不一定要高效。
- 系统必须有效地处理多个客户端对同一个文件的并发添加,实现定义良好的语义。我们的文件通常用生产者-消费者队列模式或多路合并模式。数百个生产者,每台机器运行一个,将同时往一个文件中添加。最小的同步开销的原子性是必不可少的。该文件读取可以有一定的延迟,或者消费者可以等待文件同步之后才生效。
- 持续的高带宽比低延迟更重要。我们的大多数目标应用程序都非常重视以高速率批量处理数据,而很少有应用程序对单个读写操作有严格的响应时间要求。
2.2 接口
GFS提供了一个熟悉的文件系统接口,尽管它没有实现POSIX之类的标准API。文件在目录中按层次结构组织,并由路径名标识。我们支持创建、删除、打开、关闭、读取和写入文件的常规操作。
此外,GFS具有快照操作和添加记录操作。快照以低成本创建文件或目录树的副本。追加记录允许多个客户端并发地向同一文件追加数据,同时保证每个客户端追加的原子性。它对于实现多路结果合并和生产者消费者队列模型非常有用,许多客户端可以同时添加到这些队列,而无需额外加锁。我们发现,这些类型的文件在构建大型分布式应用程序时非常宝贵。
2.3 架构
GFS集群由一个主服务器和多个块服务器(块服务器)组成,支持多个客户端访问,如图1所示。其中每一个都是运行用户级服务器进程的通用Linux机器。只要机器资源允许,在同一台机器上同时运行块服务器和客户端是很容易的,而且运行可能不稳定的应用程序代码所导致的低可靠性也是可以接受的。

图1:GFS架构
文件被划分为固定大小的块。每个块由主块在创建块时分配的不可变且全局唯一的64位块句柄标识。块服务器将块作为Linux文件存储在本地磁盘上,并读取或写入由块句柄和字节范围指定的块数据。为了可靠性,每个区块都在多个区块服务器上复制。默认情况下,我们存储三个副本,不过用户可以为文件命名空间的不同区域指定不同的复制级别。
主服务器维护所有文件系统元数据。这包括名称空间、访问控制信息、从文件到块的映射以及块的当前位置。它还控制系统范围内的活动,如区块租期管理、孤立区块的垃圾收集以及区块服务器之间的区块迁移。主服务器定期通过心跳消息与每个块服务器通信,以向其发送指令并收集其状态。
链接到每个应用程序的GFS客户端代码实现文件系统API,并与主服务器和Chunk服务器通信,以代表应用程序读取或写入数据。客户端与主服务器交互只进行元数据操作,但所有承载文件内容数据的通信都直接发送到对应的块服务器。我们不提供POSIX API,因此不需要挂接到Linux vnode层。
客户端和块服务器都不缓存文件数据。客户端缓存没有什么好处,因为大多数应用程序都是通过大型文件流传输的,或者工作集太大而无法缓存,没有缓存还可以消除缓存一致性问题,从而简化客户端和整个系统(但是,客户端缓存元数据)。块服务器不需要缓存文件数据,因为块存储为本地文件,因此Linux的缓冲区缓存已经将频繁访问的数据保存在内存中。
2.4 单一主控服务器
拥有单一主服务器可以大大简化我们的设计,并使主服务器能够利用全局知识做出复杂的数据块放置和复制决策。然而,我们必须尽量减少主服务器在文件读写中的参与,这样它就不会成为瓶颈。客户端从不通过主服务器读写文件数据。相反,客户端会询问主服务器它应该联系哪些服务器。客户端在有限的时间内缓存此信息,并直接与块服务器交互以执行后续操作。
让我们参考图1解释一下简单读取操作的交互作用。首先,使用固定的块大小,客户端将应用程序指定的文件名和字节偏移量转换为文件中的块索引。然后,它向主服务器发送一个包含文件名和块索引的请求。主服务器使用相应的区块句柄和副本的位置进行响应。客户端使用文件名和块索引作为键来缓存此信息。
然后,客户端将请求发送到其中一个副本,最有可能是最近的副本。请求中包含块句柄和该块中的字节范围,对同一块的进一步读取不需要更多的客户端-主服务器交互,直到缓存的信息过期或文件重新打开之前。事实上,客户端通常在同一请求中请求多个块,而主服务器也可以在请求的块之后立即包含这些块的信息,这些额外的信息几乎不需要额外的成本就可以满足未来的几个客户端-主服务器交互。
2.5 块大小
块大小是关键设计参数之一。我们选择了64MB,这比典型的文件系统块大小要大得多。每个区块复制副本作为普通Linux文件存储在区块服务器上,并且仅在需要时扩展。惰性空间分配避免了由于内部碎片而浪费空间,这可能也是对如此大的块大小的最大反对。
采用大块方案有几个重要的优势。首先,它减少了客户端与主服务器交互次数,因为在同一块上的读写只需要向主服务器发出一个初始请求来获取块位置信息。这种减少对于我们的工作负载尤其重要,因为应用程序大多按顺序读取和写入大型文件。即使对于小的随机读取,客户端也可以轻松地缓存几个TB大小的工作集的所有区块位置信息。其次,由于在大数据块上,客户端更有可能在给定数据块上执行许多操作,因此它可以通过在较长时间内保持与块服务器的持久TCP连接来减少网络开销。第三,它减少了主服务器上存储的元数据的大小。这允许我们将元数据保存在内存中,这反过来带来了我们将在第2.6.1节中讨论的其他优势。
另一方面,较大的块大小,即使是惰性空间分配,也有其缺点。小文件由少量的块组成,也许只有一个块。如果许多客户端正在访问同一个文件,则存储这些块的块服务器可能成为热点瓶颈。实际上,热点并不是主要问题,因为我们的应用程序大多按顺序读取大型多块文件。然而,当批处理队列系统首次使用GFS时,热点确实出现了:一个可执行文件作为单个块文件写入GFS,然后在数百台机器上同时启动,存储此可执行文件的几个块服务器被数百个并发请求造成服务器超载,我们通过使用更高的复制因子存储这些可执行文件,并使批队列(batchqueue)系统错开应用程序的启动时间,解决了这个问题。一个潜在的长期解决方案是允许客户端在这种情况下从其他客户端读取数据,类似于BT下载。
2.6 元数据
主服务器存储三种主要类型的元数据:文件和块名称空间、从文件到块的映射以及每个块副本的位置。所有元数据都保存在主服务器的内存中。前两种类型(名称空间和文件到块映射)也通过将变化记录到存储在主服务器本地磁盘上并在远程计算机上复制的操作日志中来保持持久性。通过使用日志,我们可以简单、可靠地更新主服务器状态,并且不会在主服务器崩溃事件中出现不一致的风险。主数据块不会持久存储数据块位置信息。相反,它会在主启动时以及块服务器加入集群时询问其他每个块服务器有关其块的信息。
2.6.1 内存数据结构
由于元数据存储在内存中,主服务器操作速度很快。此外,主服务器可以是容易而有效的在后台周期性地扫描其整个状态。此定期扫描用于执行区块垃圾收集、在出现区块服务器故障时重新复制以及区块迁移,以平衡区块服务器之间的负载和磁盘空间使用。第4.3节和第4.4节将进一步讨论这些活动。
这种只使用内存的方法的一个潜在问题是,块的数量以及整个系统的容量都受到主服务器内存量的限制。其实这在实践中不是一个严重的限制。主服务器为每个64MB块维护的元数据少于64字节,大多数块都是内容已装满,因为大多数文件包含许多块,只有最后一个块可能被部分填充。类似地,文件命名空间信息通常每个文件也是少于64字节,因为它使用前缀压缩紧凑地存储文件名。
如果需要支持更大的文件系统,那么为主服务器添加额外内存的成本相对于我们将元数据存储在内存中所获得的简单性、可靠性、性能和灵活性来说是一个很小的代价。
2.6.2 块位置
主数据块不保留块服务器是否具有给定数据块副本的持久记录。它只是在启动时轮询块服务器以获取该信息。主服务器可以在此后保持自身的最新状态,因为它控制所有块的放置,并使用常规心跳消息监视块服务器状态。
我们最初试图将区块位置信息持久地保存在主服务器上,但我们认为在启动时以及之后定期从区块服务器请求数据要简单得多。这消除了在块服务器加入和离开集群、更改名称、失败、重新启动等过程中保持主服务器和块服务器同步的问题。在拥有数百台服务器的集群中,这些事件经常发生。
理解此设计决策的另一种方法是认识到块服务器对其自己的磁盘上有哪些块或没有哪些块拥有最终决定权。试图在主服务器上保持此信息的一致性是没有意义的,因为块服务器上的错误可能会导致块自动消失(例如,磁盘可能损坏并被禁用),或者操作员可能会重命名块服务器。
2.6.3 操作日志
操作日志包含关键元数据更改的历史记录,它是GFS的核心。它不仅是元数据的唯一持久记录,而且还是定义并发操作顺序的逻辑时间线。文件和块,以及它们的版本(见第4.5节),都是由创建它们的逻辑时间唯一且永久地标识的。
由于操作日志非常重要,我们必须可靠地存储它,并且在元数据更改持久化之前,客户端对更改是不可见得。否则,我们实际上会丢失整个文件系统或最近的客户端操作,即使块本身仍然存在。因此,我们在多台远程计算机上复制它,并且只有在本地和远程将相应的日志记录刷新到磁盘之后,才响应客户端操作。母版在刷新之前将多个日志记录批处理在一起,从而减少了刷新和复制对总体系统吞吐量的影响。
主服务器通过重放操作日志来恢复其文件系统状态。为了最大限度地减少启动时间,我们必须保持小日志。每当日志增长超过一定大小时,就会设置一个检查点(checkpoint),以便它可以通过从本地磁盘加载最新的检查点并仅重播之后的日志记录数量有限。检查点是一种紧凑的B树形式,可以直接映射到内存中,用于命名空间查找,而无需额外的解析。这进一步加快了恢复速度并提高了可用性。
因为建立一个检查点可能需要一段时间,所以主服务器的内部状态是以这样一种方式构造的,即可以在不影响现在操作的情况下创建一个新的检查点。主线程切换到新的日志文件,并在单独的线程中创建新的检查点。新的检查点包括切换前的所有改变,对于一个拥有数百万个文件的集群,它可以在一分钟左右的时间内创建。完成后,它将在本地和远程写入磁盘。
恢复只需要最新的完整检查点和后续日志文件。旧的检查点和日志文件可以自由删除,尽管我们保留了一些以防止灾难。检查点期间的故障不会影响正确性,因为恢复代码检测并直接忽视掉不完整的检查点。
2.7 一致性模型
GFS采用宽松的一致性模型,可以很好地支持我们的高度分布式应用程序,实现起来相对简单高效。我们现在讨论GFS的一致性保证以及它们对应用程序的意义。我们还强调了GFS如何维护这些保证,但将细节留给本文的其他部分。
2.7.1 GFS的一致性保证
文件名称空间变化(例如,文件创建)是原子的。它们完全由主服务器处理:名称空间锁定保证原子性和正确性(第4.1节);主服务器操作日志定义了这些操作的总体顺序(第2.6.3节)。

表1:变更后的文件区域状态
数据变化后变更区域的状态取决于变更的类型、是否成功以及是否存在并发变更。表1总结了结果。如果所有客户端总是看到相同的数据,则文件区域是一致的,而不管它们从哪个副本读取数据。如果文件数据变更是一致的,则在该变更后就定义了一个区域,客户端将看到变更的全部内容。当一个变更在没有并发写入者干扰的情况下成功时,定义为受影响的区域(并且隐含一致):所有客户端都将始终看到变更了什么。并发的成功变更使该区域成为未定义区域并保持一致性:所有客户都看到相同的数据,但它可能无法区分任何一个变更所写的内容,通常,它由来自多个变更的片段混合而成。变更失败会导致区域不一致(因此也未定义):不同的客户端可能看到不同的数据。下面我们将介绍我们的应用程序如何区分已定义区域和未定义区域。应用程序不需要进一步区分不同类型的未定义区域。
数据变更可能是写入或添加记录,写入会导致在应用程序指定的文件偏移量处写入数据,添加记录导致数据(记录)至少一次原子添加操作,添加的位置由GFS系统确定,即使在同时发生变更的情况下也是如此(相比之下,“常规”追加只是在客户端认为是文件当前结尾的偏移量处进行写入。),给客户端返回偏移量位置和包含该记录的定义区域的开始位置。此外,GFS可在两者之间插入填充或记录重复项,它们占据了被认为是不一致的区域,并且通常与用户数据量相比相形见绌。
在一系列成功的变更之后,保证定义变更文件区域并包含最后一次变更写入的数据。GFS通过(a)在其所有副本上以相同的顺序对区块应用变更(第3.1节),以及(b)使用区块版本号检测任何因其块服务器关闭时遗漏变更而过时的副本(第4.5节),来实现这一点。过时的副本永远不会涉及到变更,也不会提供给要求主服务器提供区块位置的客户端。他们是在尽可能早的机会被垃圾回收掉。
由于客户端缓存区块位置,因此在刷新信息之前,它们可能会从过时的副本中读取数据。此窗口受到缓存项超时和文件下次打开的限制,这将从缓存中清除该文件的所有区块信息。此外,由于我们的大多数文件都是仅添加的,过时的副本通常会返回块的过早结束,而不是过时的数据。当读取者重试并联系主服务器时,它将立即获得当前区块位置。
在成功的变更之后很长一段时间,组件故障当然仍然会损坏或破坏数据。GFS通过主服务器和所有块服务器之间的定期握手来识别故障块服务器,并通过校验和来检测数据损坏(第5.2节)。一旦出现问题,将尽快从有效副本恢复数据(第4.3节)。只有在GFS能够做出反应之前(通常在几分钟内)所有副本都丢失时,区块才会不可逆转地丢失。即使在这种情况下,它也变得不可用,没有损坏:应用程序收到的是明确的错误,而不是损坏的数据。
2.7.2 对GFS应用程序的隐性要求
GFS应用程序可以使用一些简单的技术来适应宽松的一致性模型,需要一些基础的技术支撑这些目的:主要依赖于添加而不是覆盖、检查点技术、写自验证、自识别记录。
实际上,我们所有的应用程序都是通过添加而不是覆盖来改变文件的。在一种典型用法中,写入者从头到尾生成一个文件。写入所有数据后,它会自动将文件重命名为永久名称,或者周期性的设置检查点标注成功写入的数据量,检查点还可以包括应用程序级校验和,写入者只验证和处理文件区域,直到最后一个检查点,该检查点确定是处于已定义状态的。不管一致性和并发性问题如何,这种方法对我们很有用。与随机写入相比,追加操作效率更高,对应用程序故障的恢复能力更强。检查点允许写入程序以增量方式重新启动,并防止读取者读到从应用程序的角度来看仍然不完整的文件数据。
在另一种典型用法中,许多写入者同时添加到文件以合并结果或作为生产者-消费者队列。记录添加的append-at-least-once语义至少保留每个写入者的一次输出。读者处理偶尔的填充和重复如下。写入者准备的每个记录都包含校验和等额外信息,以便验证其有效性,写入者可以使用校验和识别并丢弃额外的填充和记录片段。如果它不能容忍偶尔的重复(例如,如果它们会触发非幂等运算),它可以使用记录中的唯一标识符将其过滤掉,而这些标识符通常需要命名相应的应用程序实体,如web文档。记录I/O的这些功能(除重复删除外)在我们的应用程序共享的库代码中,适用于Google的其他文件接口实现。这样,相同的记录序列,加上罕见的重复,总是被传递给记录读取者。
3. 系统交互作用
我们设计该系统是为了尽量减少主服务器参与所有操作。在此背景下,我们现在描述客户端、主服务器和块服务器如何交互以实现数据变更、原子记录添加和快照。
3.1 租期与变更顺序管理
变更是一种更改块的内容或元数据的操作,如写入或追加操作,每个变更都在区块的所有副本上执行。我们使用租约在副本之间保持一致的变更顺序。主服务器将区块租约管理权限授予其中一个副本,我们称之为主副本,这个主副本为区块的所有变更选择一个序列顺序,所有副本都遵循此顺序执行一个个变更。因此,全局变更顺序首先由主服务器选择租约管理主副本,在租约内由主副本指定序列顺序。
这种租赁机制旨在最大限度地减少主服务器的管理开销,租约的初始超时为60秒。但是,只要数据块正在发生变更,主副本就可以无限期地从主服务器请求和接收延长,这些延长请求和授权是在主服务器和所有服务器之间定期交换的心跳消息上进行的。主服务器有时可能会尝试在租约到期之前撤销租约(例如,当主服务器希望禁用正在重命名的文件上的变更时)。即使主服务器与主副本服务器失去通信,它也可以在旧租约到期后安全地将新租约授予另一个复制副本。
在图2中,我们通过遵循写操作的控制流,通过这些编号的步骤来说明这个过程。

图2:写控制和数据流
- 客户端询问主服务器哪个块服务器持有区块的当前租约以及其他副本的位置。如果没有人拥有租约,则主服务器会将租约授予其选择的复制副本(未显示)。
- 主服务器应答,包含主副本的标识和其他(辅助)副本的位置,客户端缓存这些数据以备将来使用,只有在主副本服务器无法访问时或明确回复租期已到时,它才需要再次联系主服务器
- 客户端将数据推送到所有副本。客户可以按任何顺序这样做,每个块服务器将数据存储在内部LRU缓冲缓存中,直到数据被使用或过时。通过将数据流与控制流解耦,我们可以根据网络拓扑灵活调度昂贵的数据流,从而降低成本、提高性能,而不管哪个块服务器是主服务器。第3.2节进一步讨论了这一点。
- 一旦所有副本确认接收到数据,客户端将向主副本发送写入请求,该请求标识先前已经推送到所有副本的数据。主副本服务器将连续序列号分配给它接收到的所有变更,可能来自多个客户端,这提供了必要的序列化。它按照序列号顺序将变更应用于自身的局部状态。
- 主副本将写请求转发给所有其他辅助副本。每个二级复制副本按照主复制副本指定的相同序列号顺序应用变更。
- 二级副本服务器均回复主要指示他们已完成操作。
- 主副本服务器将答复客户端,在任何副本中遇到的任何错误都会报告给客户端。如果出现错误,写入可能已在主副本和辅助副本的任意子集成功(如果在主副本服务器上失败,则不会为其分配序列号并转发),客户端请求被视为失败,修改的区域处于不一致状态。我们的客户端代码会通过重试失败的变更来处理此类错误。它将首先在步骤(3)到(7)进行几次尝试,然后才从写入开始返回到重试。
如果应用程序的写入较大或跨越块边界,GFS客户端代码会将其分解为多个写入操作。它们都遵循上述控制流,但可能与其他客户端的并发操作交错并被其覆盖。因此,共享文件区域可能最终包含来自不同客户端的片段,尽管副本将是相同的,因为在所有副本上以相同的顺序成功完成各个操作。这将使文件区域保持一致但未定义的状态,如第2.7节所述。
3.2 数据流
我们将数据流与控制流分离,以便有效地使用网络。当控制从客户端流向主服务器,然后流向所有辅助服务器时,数据以流水线方式沿精心挑选的服务器链线性推送。我们的目标是充分利用每台机器的网络带宽,避免网络瓶颈和高延迟链路,并将推送所有数据的延迟降至最低。
为了充分利用每台机器的网络带宽,数据沿着服务器链线性推送,而不是分布在其他拓扑结构(如树)中。因此,每台机器的全部出站带宽用于尽可能快地传输数据,而不是分配给多个接收者。
为了尽可能避免网络瓶颈和高延迟链路(例如,交换机间链路通常同时存在),每台机器将数据转发到网络拓扑中尚未接收到数据的“最近”机器。假设客户端正在将数据推送到服务器S1~S4。它将数据发送到最近的块服务器,比如S1,S1将其转发到距离S1最近的服务器S2到S4,例如S2,类似地,S2将其转发给S3或S4,以较接近S2的为准,依此类推。我们的网络拓扑结构非常简单,可以根据IP地址准确估计“距离”。
最后,我们通过在TCP连接上管道化数据传输来最小化延迟。一旦块服务器接收到一些数据,它就会立即开始转发。流水线对我们特别有用,因为我们使用的是带有全双工链路的交换网络。立即发送数据不会降低接收速率。在没有网络拥塞的情况下,将B字节传输到R副本的理想运行时间是B/T+RL,其中T是网络吞吐量,L是两台机器之间传输字节的延迟。我们的网络链路通常为100Mbps(T),L远低于1ms。因此,理想情况下,1MB可以在大约80毫秒内分布传送。
3.3 原子化的记录添加
GFS提供了一个称为记录添加(record append)的原子添加操作。在传统写入中,客户端指定写入数据的偏移量,对同一区域的并发写入不可序列化:该区域可能最终包含来自多个客户端的数据片段。但是,在GFS记录添加中,客户端仅指定数据,偏移量由GFS选择,在偏移量处至少原子地(即作为一个连续的字节序列)将其添加到文件中一次,并将该偏移量返回给客户端。这类似于在Unix中,当多个写入程序同时执行此操作时,在没有竞争条件的情况下写入以O_APPEND模式打开的文件。
GFS记录添加被我们的分布式应用程序大量使用,其中包括不同机器上的许多客户端同时添加到同一个文件。如果客户端使用传统的写操作,则需要额外的复杂且昂贵的同步,例如通过分布式锁管理器。在我们的工作负载中,此类文件通常充当多个生产者/单个消费者队列,或者包含来自许多不同客户端的结果合并。
记录追加是一种变更,遵循第3.1节中的控制流,在主副本服务器上只需要一点额外的逻辑。客户端将数据推送到文件最后一块的所有副本,然后将其请求发送到主副本服务器。主副本服务器检查将记录添加到当前块是否会导致块超过最大大小(64MB)。如果是这样,它会将块填充到最大大小,告诉主副本服务器执行相同的操作,并回复客户端,指示应在下一个块上重试该操作。(GFS记录添加限制为最大数据块大小的四分之一,以将最坏的数据块碎片保持在可接受的水平。)如果记录符合最大大小(通常情况下),则主副本服务器会将数据添加到其副本,并通知主副本服务器以其具有的确切偏移量写入数据,最后向客户端回复success。
如果记录添加在任何副本上失败,客户端将重试该操作。因此,同一区块的副本可能包含不同的数据,可能包括同一记录的全部或部分副本。GFS不保证所有副本按字节相同。它只保证数据作为一个原子单元至少写入一次。这个属性很容易从一个简单的观察中得出,为了报告成功,数据必须以相同的偏移量写入某个块的所有副本。此外,在此之后,所有副本的长度至少与记录的末尾一样长,因此,任何未来的记录都将被分配一个更高的偏移量或一个不同的块,即使不同的副本稍后成为主副本也是如此。就我们的一致性保证而言,成功的记录添加操作写入数据的区域是定义的(因此是一致的),而中间区域是不一致的(因此是未定义的)。我们的应用程序可以处理我们在第2.7.2节中讨论的不一致区域。
3.4 快照
快照操作几乎在瞬间创建文件或目录树(“源”)的副本,同时最大限度地减少中断正在进行的变更。我们的用户使用它来快速创建大型数据集的分支拷贝(通常是这些拷贝的递归拷贝),或者在尝试稍后可以轻松提交或回滚的更改之前的检查点。
与AFS[5]一样,我们使用标准的写时拷贝技术来实现快照。当主服务器接收到快照请求时,它首先撤销它将要快照的文件中块的所有未完成租约。这确保了对这些区块的任何后续写入都需要与主服务器交互以找到租约持有人。这将使主服务器有机会首先创建块的新副本。
租约被撤销或过期后,主服务器将操作日志记录到磁盘。然后,它通过复制源文件或目录树的元数据,将此日志记录应用于其内存中状态。新创建的快照文件指向与源文件相同的块。
在快照操作之后,客户端第一次想要写入区块C时,会向主服务器发送一个请求,以查找当前租约持有人。主服务器注意到块C的引用计数大于1。它延迟对客户端请求的响应,而是选择一个新的块句柄C’。然后,它要求每个拥有当前C副本的块服务器创建一个名为C’的新块,通过在与原始数据块相同的数据块服务器上创建新数据块,我们可以确保数据可以在本地复制,而不是通过网络复制(我们的磁盘速度大约是100Mb以太网链路的三倍)。从这一点上讲,请求处理与任何区块的处理没有什么不同:主服务器向其中一个副本授予新区块C’的租约,并回复给客户端,客户端可以正常写入区块,而不知道它刚刚从现有区块创建。
4. 主操作
主服务器执行所有名称空间操作。此外,它还管理整个系统中的区块副本:它做出放置决策,创建新区块,从而创建副本,并协调各种系统范围的活动以保持区块完全复制,平衡所有区块服务器的负载,并回收未使用的存储。我们现在讨论这些主题中的每一个。
4.1 命名空间和锁管理
许多主操作可能需要很长时间:例如,快照操作必须撤销快照覆盖的所有区块上的区块服务器租约。我们不希望在其他主操作运行时延迟它们。因此,我们允许多个操作同时处于活动状态,并在命名空间的基于区域使用加锁以确保正确的序列化。
与许多传统文件系统不同,GFS没有列出该目录中所有文件的每个目录数据结构。它也不支持同一文件或目录的别名(即Unix术语中的硬链接或符号链接)。GFS在逻辑上将其名称空间表示为将完整路径名映射到元数据的查找表。通过前缀压缩,可以在内存中高效地表示此表。命名空间树中的每个节点(绝对文件名或绝对目录名)都有一个关联的读写锁。每个主操作在运行之前都会获得一组锁。通常,如果涉及/d1/d2/../dn/leaf,它将获取目录名/d1、/d1/d2、/d1/d2/../dn上的读锁,以及完整路径名/d1/d2/../dn/leaf上的读锁或写锁。请注意,叶节点leaf可能是一个文件或目录,具体取决于操作。
现在,我们将演示此锁定机制如何防止在将/home/user快照到/save/user时创建文件/home/user/foo。快照操作获取/home和/save上的读锁,以及/home/user和/save/user上的写锁。文件创建在/home和/home/user上获得读锁,在/home/user/foo上获得写锁。这两个操作将被正确序列化,因为它们试图在/home/user上获取冲突的锁。文件创建不需要父目录上的写锁,因为没有“目录”或类似inode的数据结构需要保护以防修改。基于名称的读锁足以保护父目录不被删除。
这种锁定方案的一个很好的特性是,它允许在同一目录中同时发生变更。例如,可以在同一个目录中同时执行多个文件创建:每个创建都获得目录名的读锁和文件名的写锁。目录名上的读锁足以防止删除、重命名或快照目录。基于文件名的写锁会序列化尝试两次创建具有相同名称的文件。
因为名称空间可以有许多节点,所以读写锁对象会被延迟分配,一旦不使用就会被删除。此外,锁以一致的总顺序获取以防止死锁:它们首先在名称空间树中按级别排序,并在同一级别中按字典顺序排列。
4.2 副本放置
GFS群集在多个层次上高度分布,它通常有数百台服务器分布在许多机架上,这些服务器可以依次从同一机架或不同机架上的数百个客户端访问,不同机架上的两台机器之间的通信可能跨越一个或多个网络交换机。此外,机架内外的带宽可能小于机架内所有机器的总带宽。数据在多层次分布式架构中分发对可扩展性、可靠性和可用性提出了独特的挑战。
区块副本放置策略有两个目的:最大化数据可靠性和可用性,以及最大化网络带宽利用率。对于这两种情况,仅在机器之间传播副本是不够的,因为复制副本只能防止磁盘或机器故障,我们还必须在机架上分布块副本,并充分利用每台机器的网络带宽。这可确保即使整个机架损坏或脱机(例如,由于网络交换机或电源电路等共享资源故障),数据块的某些副本仍能存活并保持可用。这还意味着,数据块的流量,尤其是读取,可以利用多个机架的聚合带宽。另一方面,写入流量必须流经多个机架,这是我们自愿做出的权衡。
4.3 文件区块副本(chunks)的创建、重新复制、重新平衡
创建区块副本有三个原因:区块创建、重新复制和重新平衡。
当主服务器创建块时,它会选择将最初为空的复制副本放置在何处。它考虑了几个因素。(1) 我们希望在磁盘空间利用率低于平均水平的服务器上放置新副本。随着时间的推移,这将在多个服务器之间均衡磁盘利用率。(2) 我们希望限制每个块服务器上“最近”创建的数量。尽管创建本身很便宜,但它可以可靠地预测即将出现的大量写入流量,因为块是在写入请求时创建的,并且在我们的append-once-read-many工作负载中,它们通常在完全写入后实际上变成只读。(3) 如上所述,我们希望在机架上分布块的副本。
一旦可用副本的数量低于用户指定的目标,主服务器就会重新复制块。发生这种情况的原因有很多:块服务器不可用、它报告其副本可能已损坏、它的一个磁盘因错误而被禁用,或者复制目标增加。每个需要重新复制的区块都基于几个因素进行优先级排序。一个是它离复制目标有多远。例如,我们对丢失两个副本的区块给予比只丢失一个副本的区块更高的优先级。此外,我们更愿意首先重新复制活动文件的块,而不是属于最近删除的文件的块(参见第4.4节)。最后,为了最大限度地减少故障对正在运行的应用程序的影响,我们提高了阻止客户端进程的任何块的优先级。
主服务器选择最高优先级的区块,并通过指示某个块服务器直接从现有有效副本复制区块数据来“克隆”它。放置新复制副本的目标与创建复制副本的目标类似:均衡磁盘空间利用率,限制任何单个服务器上的活动克隆操作,以及在机架上分布复制副本。为了防止克隆流量超过客户端流量,主服务器限制集群和每个服务器的活动克隆操作数。此外,每个块服务器通过限制其对源块服务器的读取请求来限制其在每个克隆操作上花费的带宽量。
最后,主服务器会定期重新平衡副本:它会检查当前的副本分布,并移动副本以获得更好的磁盘空间和负载平衡。同样通过这个过程,主服务器逐渐填满一个新的块服务器,而不是立即用新的Chunk和随之而来的大量写流量来淹没它。新副本的放置标准类似于上面讨论的标准。此外,主服务器还必须选择要删除的现有复制副本。一般来说,它倾向于删除可用空间低于平均水平的服务器上的磁盘空间,以平衡磁盘空间的使用。
4.4 垃圾收集
删除文件后,GFS不会立即回收可用的物理存储。它只在文件和块级别的常规垃圾收集期间惰性地执行此操作。我们发现,这种方法使系统更加简单和可靠。
4.4.1 垃圾回收实现原理
当应用程序删除一个文件时,主服务器会像其他更改一样立即记录删除。但是,不是立即回收资源,而是将文件重命名为包含删除时间戳的隐藏名称。在主服务器对文件系统名称空间的常规扫描期间,如果这些隐藏文件已经存在三天以上(间隔是可配置的),它将删除它们。在此之前,文件仍然可以用新的特殊名称读取,并且可以通过将其重命名为正常名称来取消删除。从命名空间中删除隐藏文件时,其内存中的元数据将被擦除。这有效地切断了它与所有块的链接。
在块名称空间的类似常规扫描中,主服务器识别孤立块(即,无法从任何文件访问的块)并擦除这些块的元数据。在与主服务器定期交换的心跳消息中,每个块服务器报告其拥有的一个子集,主服务器使用不再存在于主服务器元数据中的所有数据块的标识进行回复。块服务器可以自由删除此类块的副本。
4.4.2 讨论
虽然分布式垃圾收集是一个困难的问题,在编程语言的场景中是非常复杂的,但在我们的例子中它非常简单。我们可以很容易地识别对块的所有引用:它们位于由主节点专门维护的文件到块映射中。我们还可以轻松识别所有区块副本:它们是每个区块服务器上指定目录下的Linux文件,主服务器不知道的任何此类复制副本都是“垃圾”。
垃圾回收方法与即时删除相比有几个优点。首先,它在组件故障常见的大规模分布式系统中简单可靠。区块创建可能会在某些区块服务器上成功,但在其他区块服务器上不会成功,从而留下主服务器不知道存在的副本。副本删除消息可能会丢失,主服务器必须记住在发生故障时重新发送这些消息,包括主服务器和服务器的。垃圾收集提供了一种统一而可靠的方法来清理任何已知无用的复制副本。其次,它将存储回收合并到主服务器的常规后台活动中,例如定期扫描名称空间和与服务器握手。因此,它是分批进行的,成本是摊销的。此外,只有在主人相对自由的时候才可以这样做。主服务器可以更迅速地响应客户要求及时关注的请求。第三,延迟回收存储提供了防止意外、不可逆转删除的安全网。
根据我们的经验,主要的缺点是延迟有时会妨碍用户在存储紧张时对使用情况进行精细调控。重复创建和删除临时文件的应用程序可能无法立即重用存储。我们通过在删除的文件再次被明确删除时加快存储回收来解决这些问题。我们还允许用户对命名空间的不同部分应用不同的复制和回收策略。例如,用户可以指定存储某个目录树中的文件中的所有区块,而不进行复制,并且任何已删除的文件都会立即从文件系统状态中不可撤销地删除。
4.5 过时副本检测
如果块服务器发生故障,并且在其关闭时未命中区块,则区块副本可能会过时。对于每个数据块,主数据块维护一个数据块版本号,以区分最新副本和过时副本。
每当主服务器授予区块新租约时,它都会增加区块版本号并通知最新副本。主副本和这些从副本都在其持久状态下记录新版本号。这发生在任何客户端收到通知之前,因此在它开始写入区块之前。如果另一个复制副本当前不可用,则其区块版本号将不会提前。当块服务器重新启动并报告其区块集及其相关版本号时,主服务器将检测到此块服务器是否有过时的副本。如果主服务器看到的版本号大于其记录中的版本号,则主服务器会假定在授予租约时失败,因此会将较高版本视为最新版本。
主服务器在其常规垃圾收集中删除过时的副本。在此之前,当它响应客户端请求获取区块信息时,它实际上认为过时的副本根本不存在。作为另一种保护措施,当主服务器通知客户端哪个块服务器持有区块租约,或者在克隆操作中指示块服务器从另一个块服务器读取区块时,主服务器会包含区块版本号。客户端或块服务器在执行操作时验证版本号,以便始终访问最新数据。
5. 容错与诊断
我们在设计系统时面临的最大挑战之一是处理频繁的组件故障。组件的质量和数量加在一起,使得这些问题比例外更常见:我们不能完全信任机器,也不能完全信任磁盘。组件故障可能导致系统不可用,或者更糟的是,数据损坏。我们将讨论如何应对这些挑战,以及我们在系统中内置的工具,以便在不可避免地出现问题时如何进行诊断。
5.1 高可用性
在GFS集群中的数百台服务器中,在任何给定时间都有可能有些服务器不可用。我们通过两种简单而有效的策略保持整个系统的高可用性:快速恢复和复制。
5.1.1 快速恢复
主服务器和块服务器都被设计为在几秒钟内恢复其状态并启动,无论它们如何终止。事实上,我们不区分正常终止和异常终止;服务器通常只是通过终止进程来关闭。当客户端和其他服务器在未完成的请求超时、重新连接到重新启动的服务器并重试时,会遇到一个小问题。第6.2.2节报告了观察到的启动时间。
5.1.2 区块复制
如前所述,每个区块都复制到不同机架上的多个区块服务器上。用户可以为文件命名空间的不同部分指定不同的复制级别。默认值为3。主服务器根据需要克隆现有副本,以便在块服务器脱机或通过校验检测到损坏的副本时保持每个区块的完全复制(请参阅第5.2节)。尽管复制为我们提供了很好的服务,但我们正在探索其他形式的跨服务器冗余,如奇偶校验或擦除码,以满足不断增长的只读存储需求。我们预计,在我们非常松散耦合的系统中实现这些更复杂的冗余方案具有挑战性,但可以管理,因为我们的通信量由添加和读取而不是小的随机写入控制。
5.1.3 主服务器状态复制
复制主服务器状态以提高可靠性。它的操作日志和检查点在多台机器上复制。只有在其日志记录已在本地和所有主副本上刷新到磁盘后,才会认为该状态发生了变化。为简单起见,一个主进程仍然负责所有的变更以及后台活动,如内部改变系统的垃圾收集。当它失败时,它几乎可以立即重新启动。如果其机器或磁盘出现故障,GFS外部的监控基础设施将使用复制的操作日志在其他位置启动新的主进程。客户端仅使用主服务器的规范名称(例如gfs测试),这是一个DNS别名,如果主服务器重新定位到另一台机器上,则可以更改该别名。
此外,“影子”主服务器提供对文件系统的只读访问,即使在主主服务器关闭时也是如此。它们是影子,而不是镜像,因为它们可能会稍微滞后于主映像,通常为几分之一秒。它们增强了未进行主动变更的文件或不介意获得稍微陈旧结果的应用程序的读取可用性。事实上,由于文件内容是从块服务器读取的,所以应用程序不会观察陈旧的文件内容。短窗口中可能过时的是文件元数据,如目录内容或访问控制信息。
为了让自己了解情况,影子主服务器读取不断增长的操作日志的副本,并对其数据结构应用与主主服务器完全相同的更改序列。与主服务器一样,它在启动时轮询chunk服务器(此后很少轮询),以定位块副本,并与它们频繁交换握手消息以监视它们的状态。它仅依赖于主控主服务器来更新由主控主服务器创建和删除副本的决定而产生的副本位置。
5.2 数据完整性
每个块服务器都使用校验和来检测存储数据的损坏。考虑到GFS群集通常在数百台机器上拥有数千个磁盘,它经常会遇到磁盘故障,导致读写路径上的数据损坏或丢失(关于其中的一个原因,请参见第7节),我们可以使用其他区块副本从损坏中恢复,但通过跨区块服务器比较副本来检测损坏是不切实际的。此外,副本的差异也是合法的:GFS变更的语义,特别是前面讨论的原子记录添加,不能保证相同的副本。因此,每个块服务器必须通过维护校验和来独立验证其自身副本的完整性。
一个块(chunk)被分解为64 KB的更小的块(blocks)。每个小块都有相应的32位校验和。与其他元数据一样,校验和保存在内存中,并与用户数据分开,通过日志记录持久存储。
对于读取,块服务器在将任何数据返回给请求者(无论是客户端还是另一个块服务器)之前,验证与读取范围重叠的数据块的校验和。因此,Chunk服务器不会将损坏传播到其他机器。如果一个块与记录的校验和不匹配,块服务器将向请求者返回一个错误,并向主服务器报告不匹配。作为响应,请求者将从其他副本读取数据,而主服务器将从另一个副本克隆数据块。在一个有效的新副本就位后,主服务器指示报告不匹配的块服务器删除其副本。
由于几个原因,校验和对读取性能几乎没有影响。因为我们的大多数读取至少跨越几个块,所以我们只需要读取和校验相对少量的额外数据以进行验证。GFS客户端代码通过尝试在校验和块边界处对齐读取,进一步减少了这种开销。此外,块服务器上的校验和查找和比较是在没有任何I/O的情况下完成的,校验和计算常常与I/O重叠。
校验和计算针对添加到数据块末尾的写入(与覆盖现有数据的写入相反)进行了大量优化,因为添加操作在我们的工作负载中占主导地位。我们只是增量地更新最后一个部分校验和块的校验和,并为添加操作填充的任何全新校验和块计算新的校验和。即使最后一个部分校验和块已经损坏,并且我们现在无法检测到它,新的校验和值也将与存储的数据不匹配,并且在下次读取该块时会像往常一样检测到损坏。
相反,如果写操作覆盖了块的现有范围,我们必须读取并验证覆盖范围的第一个和最后一个块,然后执行写操作,最后计算并记录新的校验和。如果在部分覆盖前未验证第一个和最后一个块,则新校验和可能隐藏未被覆盖区域中存在的损坏。
在空闲期间,块服务器可以扫描和验证非活动块的内容。这使我们能够检测很少读取的块中的损坏。一旦检测到损坏,主服务器可以创建新的未损坏副本并删除损坏的副本。这可以防止非活动但已损坏的区块复制副本欺骗主服务器,使其认为有足够的区块有效复制副本。
5.3 诊断工具
广泛而详细的诊断日志记录对问题隔离、调试和性能分析有着不可估量的帮助,同时产生的成本也很低。没有日志,很难理解机器之间的瞬时、不可重复的交互。GFS服务器生成诊断日志,记录许多重要事件(例如服务器上下运行)以及所有RPC请求和回复。可以自由删除这些诊断日志,而不会影响系统的正确性。然而,我们尽量在空间允许的范围内保存这些日志。
RPC日志包括在线路上发送的确切请求和响应,但正在读取或写入的文件数据除外。通过将请求与响应进行匹配,并整理不同机器上的RPC记录,我们可以重建整个交互历史来诊断问题。日志还可以作为负载测试和性能分析的跟踪。
日志记录对性能的影响很小(其好处远远大于此),因为这些日志是按顺序异步编写的。最近的事件也保存在内存中,可用于连续在线监控。
6. 测量评估
在本节中,我们将介绍一些微观基准测试,以说明GFS体系结构和实现中固有的瓶颈,以及Google使用的真实集群中的一些数据结果。
6.1 微观基准
我们测量了由一个主服务器、两个主副本、16个服务器和16个客户端组成的GFS集群的性能。请注意,此配置是为便于测试而设置的。典型的集群有数百个服务器和数百个客户端。
所有机器都配置了双1.4 GHz PIII处理器、2 GB内存、两个80 GB 5400 rpm磁盘和一个100 Mbps全双工以太网连接到HP 2524交换机。所有19台GFS服务器连接到一台交换机,所有16台客户端连接到另一台交换机。这两个交换机通过1 Gbps链路连接。
6.1.1 读取
N客户端同时从文件系统读取数据。每个客户端从320 GB的文件集中随机读取一个4 MB区域。这将重复256次,以便每个客户端最终读取1 GB的数据。这些服务器总共只有32GB的内存,因此我们预计Linux缓冲区缓存的命中率最多为10%。我们的结果应该接近冷缓存结果。
图3(a)显示了N个客户端的总读取速率及其理论极限。当两个交换机之间的1 Gbps链路饱和时,限制峰值为125 MB/s,或当其100 Mbps网络接口饱和时,每个客户端的限制峰值为12.5 MB/s,以适用者为准。当只有一个客户端正在读取时,观察到的读取速率为10 MB/s,即每个客户端限制的80%。16个写入者的总读取速率达到94 MB/s,约为125 MB/s链路限制的75%,即每个客户端6 MB/s。效率从80%下降到75%,因为随着写入者数量的增加,多个写入者同时从同一个服务器读取的概率也会增加。
6.1.2 写
N客户端同时写入N个不同的文件。每个客户端在一系列1MB的写入操作中将1GB的数据写入一个新文件。聚合写入速率及其理论极限如图3(b)所示。限制稳定在67MB/s,因为我们需要将每个字节写入16个Chunk服务器中的3个,每个服务器的输入连接为12.5MB/s。
一个客户端的写入速率为6.3 MB/s,约为限制的一半。造成这种情况的罪魁祸首是我们的网络堆栈。它与我们用于将数据推送到数据块副本的流水线方案没有很好的交互。将数据从一个复制副本传播到另一个复制副本的延迟会降低总体写入速率。
16个客户端的总写入速率达到35 MB/s(或每个客户端2.2 MB/s),约为理论极限的一半。与读取一样,随着客户端数量的增加,多个客户端更可能并发地向同一个块服务器写入数据。此外,16个写入程序比16个读取器更容易发生冲突,因为每次写入都涉及三个不同的副本。
写入速度比我们希望的慢。在实践中,这并不是一个主要问题,因为即使它增加了单个客户端看到的延迟,它也不会显著影响系统交付给大量客户端的总写入带宽。
6.1.3 记录添加
图3(c)显示了记录添加性能。N个客户端同时添加到单个文件。性能受到存储文件最后一个区块的区块服务器的网络带宽的限制,与客户端的数量无关。一个客户端的传输速率从6.0 MB/s开始,16个客户端的传输速率下降到4.8 MB/s,这主要是由于不同客户端的网络传输速率存在拥塞和差异。我们的应用程序倾向于同时生成多个这样的文件。换句话说,N个客户端同时添加到M个共享文件,其中N个和M个都是几十个或几百个。因此,在我们的实验中,块服务器网络拥塞在实践中并不是一个重要的问题,因为当另一个文件的块服务器繁忙时,客户端可以在写入一个文件方面取得进展。
6.2 真实世界集群
我们现在研究谷歌内部使用的两个集群,它们代表了其他几个类似的集群。集群A经常被100多名工程师用于研究和开发。一个典型的任务由人工用户启动,运行时间长达数小时。它读取几MB到几TB的数据,转换或分析数据,并将结果写回集群。集群B主要用于生产数据处理。这些任务持续时间很长只需偶尔进行人工干预,即可长时间连续生成和处理多TB数据集。在这两种情况下,单个“任务”由多台机器上的多个进程同时读写多个文件组成。

表2:两个GFS集群的特征
6.2.1 存储
如表中前五项所示,这两个集群都有数百个块服务器,支持许多TB的磁盘空间,并且相当但不完全满。“已用空间”包括所有区块副本。实际上,所有文件都复制了三次。因此,集群分别存储18 TB和52 TB的文件数据。
这两个集群有相似数量的文件,但B有更大比例的死文件,即被删除或替换为新版本但其存储尚未回收的文件。它也有更多的块,因为它的文件往往更大。
6.2.2 元数据
块服务器聚合存储了数十GB的元数据,大部分是64 KB用户数据块的校验和。块服务器中保存的唯一其他元数据是第4.5节中讨论的块版本号。
保存在主文件中的元数据要小得多,只有数十MB,或者说平均每个文件大约100字节。这与我们的假设一致,即在实践中,主存储器的大小不会限制系统的容量。大多数每个文件的元数据是以前缀压缩形式存储的文件名。其他元数据包括文件所有权和权限、从文件到块的映射以及每个块的当前版本。此外,对于每个区块,我们存储当前副本位置和用于实现写时复制的引用计数。
每个服务器,包括块服务器和主服务器,只有50到100MB的元数据。因此恢复速度很快:在服务器能够回答查询之前,从磁盘读取此元数据只需几秒钟。然而,因为要从所有块服务器获取块位置信息之前,主服务器会有点步履蹒跚的等待(通常为30到60秒)。
6.2.3 读写速率
表3显示了不同时间段的读写速率。在进行这些测量时,这两个集群已经运行了大约一周。(集群最近已重新启动,以升级到GFS的新版本。)
自重新启动以来,平均写入速率小于30 MB/s。当我们采取这些测量时,B处于写入活动的突发的中间,产生大约100 Mb/s的数据,这产生了300 Mb/s的网络负载,因为写入被传播到三个副本。

图3:总吞吐量。顶部曲线显示了我们的网络拓扑施加的理论限制。底部曲线显示测量的吞吐量。它们有显示95%置信区间的误差条,在某些情况下难以辨认,因为测量的方差很小。

表3:两个GFS集群的性能指标
读速率远高于写速率。正如我们所假设的那样,总工作负载包含的读操作多于写操作。这两个集群是在沉重阅读活动的中间。特别是,A在前一周一直保持580 MB/s的读取速率。它的网络配置可以支持750MB/s,因此它可以高效地使用资源。集群B可以支持1300 MB/s的峰值读取速率,但其应用程序仅使用380 MB/s。
6.2.4 主荷载
表3还显示发送到主服务器的操作速率约为每秒200到500次。主服务器可以轻松跟上这一速度,因此不是这些工作负载的瓶颈。
在早期版本的GFS中,主服务器偶尔会成为某些工作负载的瓶颈。它大部分时间都在按顺序扫描大目录(其中包含数十万个文件)以查找特定的文件。此后,我们更改了主数据结构,以允许通过名称空间进行有效的二进制搜索。它现在可以轻松支持每秒数千次的文件访问。如有必要,我们可以通过在名称空间数据结构前面放置名称查找缓存来进一步加快速度。
6.2.5 恢复时间
块服务器发生故障后,某些块将复制不足,必须进行克隆以恢复其复制级别。恢复所有这些块所需的时间取决于资源量。在一个实验中,我们杀死了集群B中的一个块服务器。块服务器有大约15000个包含600GB数据的块。为了限制对正在运行的应用程序的影响并为调度决策提供余地,我们的默认参数将此群集限制为91个并发克隆(占块服务器s数量的40%),其中每个克隆操作最多允许消耗6.25MB/s(50Mbps)。所有区块都在23.2分钟内恢复,有效复制速率为440 MB/s。
在另一个实验中,我们杀死了两个Chunk服务器,每个服务器大约有16000个Chunk和660 GB的数据。这一双重失败将266个块减少到只有一个副本。这266个区块以更高的优先级克隆,并在2分钟内恢复到至少2倍的复制,从而使群集处于一种可以容忍另一个区块服务器故障而不丢失数据的状态。
6.3 工作负荷分解
在本节中,我们将详细介绍两个GFS集群的工作负载细分情况,这两个集群与第6.2节中的集群具有可比性,但并不完全相同。集群X用于研发,而集群Y用于生产数据处理。
6.3.1 方法和注意事项
这些结果只包括源于客户端的请求,因此它们反映了我们的应用程序为整个文件系统生成的工作负载。它们不包括执行客户端请求或内部后台活动(如转发写入或重新平衡)的服务器间请求。
有关I/O操作的统计信息基于从GFS服务器记录的实际RPC请求中启发式重建的信息。例如,GFS客户端代码可能会将一次读取分解为多个RPC以提高并行性,我们从中推断出原始读取。因为我们的访问模式是高度样式化的,所以我们希望任何错误都会出现在噪音中。应用程序的显式日志记录可能会提供稍微更准确的数据,但从逻辑上讲,不可能重新编译和重新启动数千个正在运行的客户端,而且从尽可能多的计算机收集结果也很麻烦。
我们应该注意不要过度概括我们的工作量。由于谷歌完全控制GFS及其应用程序,因此应用程序往往针对GFS进行调整,反之,GFS是为这些应用程序设计的。一般应用和GFS文件系统之间也可能存在这种相互影响,但这种影响在我们的案例中可能更为明显。

表4:按规模划分的业务细分(%)。对于读取,大小是实际读取和传输的数据量,而不是请求的数据量。
6.3.2 块服务器工作负载
表4显示了按规模划分的业务分布情况。读取大小呈现双峰分布。小型读取(小于64 KB)来自搜索密集型客户端,这些客户端在大型文件中查找小块数据。大的读取(超过512 KB)来自对整个文件的长顺序读取。
在集群Y中,大量的读取根本不返回任何数据。我们的应用程序,尤其是生产系统中的应用程序,通常使用文件作为生产者-消费者队列。生产者在使用者读取文件结尾时并发追加到文件。有时,当消费者超过生产者时,不会返回任何数据。集群X很少显示这一点,因为它通常用于短期的数据分析任务,而不是长期的分布式应用程序。
写入大小也呈现双峰分布。较大的写入(超过256 KB)通常是由写入程序中的大量缓冲造成的。缓冲更少数据、更频繁地进行检查点或同步,或只是生成更少数据的写入程序会占用较小的写入(小于64 KB)。
至于记录添加,集群Y看到的大型记录添加的百分比比集群X高得多,因为我们使用集群Y的生产系统更积极地针对GFS进行调优。
表5显示了在各种大小的操作中传输的数据总量。对于所有类型的操作,较大的操作(超过256 KB)通常占传输的大部分字节。由于随机寻道工作负载,少量读取(低于64 KB)确实会传输少量但重要的读取数据。
6.3.3 追加与写入
记录添加被大量使用,尤其是在我们的生产系统中。对于群集X,按传输字节数计算,写入与记录添加的比率为108:1,按操作计数计算,写入与记录添加的比率为8:1。对于生产系统使用的Y组,比率分别为3.7:1和2.5:1。此外,这些比率表明,对于这两个集群,记录添加往往大于写入。然而,对于集群X,在测量的时间段内记录添加的总体使用率相当低,因此结果可能会被一个或两个具有特定缓冲区大小选择的应用程序所扭曲。
正如预期的那样,我们的数据变更工作负载主要是添加而不是覆盖,我们测量了主副本上覆盖的数据量。相对应的,客户端覆盖以前写入的数据而不是添加新数据的情况。对于群集X,重写占变更字节的0.0001%以下,占变更操作的0.0003%以下。对于集群Y,两者的比率均为0.05%。虽然这是一分钟,但仍然高于我们的预期。事实证明,这些覆盖大部分来自由于错误或超时而导致的客户端重试。它们本身不是工作负载的一部分,而是重试机制的结果。

表5:按操作大小(%)分列的传输字节数。对于读取,大小是实际读取和传输的数据量,而不是请求的数据量。如果读取尝试读取文件末尾以外的内容,则两者可能有所不同,这在我们的工作负载中并不少见。

表6:按类型分列的主请求(%)
6.3.4 主服务器负载
表6显示了按向主服务器发出的请求类型划分的明细。大多数请求要求读取的区块位置(FindLocation)和数据变更的租约持有人信息(FindLeaseLocker)。
集群X和Y看到的删除请求数量明显不同,因为集群Y存储定期重新生成并用新版本替换的生产数据集。开放请求中的差异进一步隐藏了这种差异,因为文件的旧版本可能会通过从头开始打开进行写入而被隐式删除(Unix开放术语中的模式“w”)。
查找匹配文件是一个模式匹配请求,支持“ls”和类似的文件系统操作。与其他对主服务器的请求不同,它可能会处理大部分名称空间,因此成本可能会很高。Cluster Y更经常看到它,因为自动化数据处理任务倾向于检查文件系统的各个部分,以了解全局应用程序状态。相比之下,cluster X的应用程序受更明确的用户控制,通常提前知道所有需要的文件的名称。
7. 经历
在建立和部署GFS的过程中,我们遇到了各种各样的问题,有些是操作问题,有些是技术问题。
最初,GFS被认为是我们生产系统的后端文件系统。随着时间的推移,这种用法逐渐演变为包括研究和开发任务。它开始时几乎不支持权限和配额之类的东西,但现在包含了这些东西的基本形式。生产系统受到良好的约束和控制,但实际用户有时却不是,需要更多的基础设施来防止用户相互干扰。
我们最大的一些问题是与磁盘和Linux相关的。我们的许多磁盘向Linux驱动程序声称它们支持一系列IDE协议版本,但实际上只对较新版本做出可靠响应。由于协议版本非常相似,这些驱动器大部分工作正常,但偶尔不匹配会导致驱动器和内核对驱动器的状态不匹配,这将由于内核中的问题而导致数据被无声地损坏。这个问题促使我们使用校验和来检测数据损坏,同时我们修改内核来处理这些协议不匹配。
早些时候,由于fsync()的成本问题,Linux 2.2内核出现了一些问题。它的调用成本与文件的大小成比例,而不是与文件修改部分的大小成比例。这对于我们的大型操作日志来说是一个问题,尤其是在我们实现检查点之前。我们通过使用同步写入解决了这个问题,并最终迁移到Linux2.4。
Linux的另一个问题是一个读写锁,地址空间中的任何线程在从磁盘分页(读锁)或在mmap()调用中修改地址空间(写锁)时都必须持有该锁。我们看到系统在轻负载下会出现短暂超时,花了很多功夫寻找资源瓶颈或零星硬件故障。最终,我们发现这个锁阻止了主网络线程将新数据映射到内存中,而磁盘线程正在分页以前映射的数据。由于我们主要受到网络接口的限制,而不是内存拷贝带宽的限制,因此我们通过用pread()替换mmap()来解决这一问题,但需要额外的拷贝。
尽管偶尔会出现问题,但Linux代码的可用性一次又一次地帮助我们探索和理解系统行为。在适当的时候,我们会改进内核并与开源社区共享更改。
8. 相关工作
与其他大型分布式文件系统(如AFS[5])一样,GFS提供了一个独立于位置的名称空间,使数据能够透明地移动,以实现负载平衡或容错。与AFS不同,GFS以更类似于xFS[1]和Swift[3]的方式在存储服务器之间传播文件数据,以提供聚合性能和增强的容错能力。
由于磁盘相对便宜,而且复制比更复杂的RAID[9]方法更简单,GFS目前仅使用复制实现冗余,因此比xFS或Swift消耗更多的原始存储。
与AFS、xFS、Frangipani[12]和Intermezzo[6]等系统相比,GFS在文件系统界面下不提供任何缓存。我们的目标工作负载在单个应用程序运行中几乎没有重用,因为它们要么流经大型数据集,要么在其中随机搜索并每次读取少量数据。
一些分布式文件系统,如Frangipani、xFS、明尼苏达州的GFS[11]和GPFS[10]删除了集中式服务器,并依靠分布式算法实现一致性和管理。为了简化设计、提高可靠性和获得灵活性,我们选择了集中式方法。特别是,集中式主服务器可以更容易地实现复杂的块放置和复制策略,因为主服务器已经拥有大部分相关信息并控制其更改方式。我们通过保持主状态较小并在其他机器上完全复制来解决容错问题。可伸缩性和高可用性(用于读取)目前由我们的影子主服务器机制提供。主状态的更新通过添加到预写日志而持久化。因此,我们可以采用Harp[7]中的主拷贝方案,以提供比当前方案更高的一致性保证的高可用性。
我们正在解决一个类似Lustre[8]的问题,即向大量客户提供聚合性能。但是,我们通过关注应用程序的需求,而不是构建符合POSIX的文件系统,大大简化了问题。此外,GFS假设大量不可靠的组件,因此容错是我们设计的核心。
GFS与NASD架构最为相似[4]。虽然NASD体系结构基于网络连接的磁盘驱动器,但GFS使用商品机器作为服务器,正如NASD原型中所做的那样。与NASD工作不同,我们的块服务器使用延迟分配的固定大小的块,而不是可变长度的对象。此外,GFS还实现了生产环境中所需的重新平衡、复制和恢复等功能。
与明尼苏达州的GFS和NASD不同,我们不寻求改变存储设备的型号。我们专注于解决具有现有通用组件的复杂分布式系统的日常数据处理需求。
原子记录添加启用的生产者-消费者队列解决了与River中的分布式队列类似的问题[2]。River使用分布在机器上的基于内存的队列和谨慎的数据流控制,而GFS使用可由多个生产者并发追加的持久文件。River模型支持m-to-n分布式队列,但缺乏持久性存储带来的容错能力,而GFS仅有效支持m-to-1队列。多个使用者可以读取同一个文件,但它们必须协调以划分传入负载。
9. 结论
Google文件系统GFS展示了在通用硬件上支持大规模数据处理工作负载所必需的品质。虽然一些设计决策是针对我们独特的设置的,但许多决策可能适用于类似规模和成本意识的数据处理任务。我们首先根据当前和预期的应用程序工作负载和技术环境重新检查传统的文件系统假设。我们的观察结果导致了设计空间的根本不同点。我们将组件故障视为常态而非例外,优化主要添加(可能并发)然后读取(通常按顺序)的大型文件,并扩展和放松标准文件系统接口以改进整个系统。
我们的系统通过持续监控、复制关键数据以及快速自动恢复提供容错能力。区块复制允许我们容忍区块服务器故障。这些故障的频繁发生激发了一种新的在线修复机制,该机制可以定期、透明地修复损坏并尽快补偿丢失的副本。此外,我们使用校验和来检测磁盘或IDE子系统级别的数据损坏,鉴于系统中的磁盘数量,这种情况变得非常普遍。
我们的设计为许多执行各种任务的并发读写提供了高聚合吞吐量。我们通过将通过主服务器的文件系统控制与直接在服务器和客户端之间传输的数据传输分离来实现这一点。通过较大的数据块大小和数据块租用(将权限委托给数据变更中的主副本),可以最大限度地减少主副本在常见操作中的参与。这使得一个简单、集中的主服务器成为可能,而不会成为瓶颈。我们相信,网络堆栈的改进将消除当前单个客户端对写入吞吐量的限制。
GFS已成功满足我们的存储需求,并在谷歌内部广泛用作研发和生产数据处理的存储平台。它是一个重要的工具,使我们能够在整个网络范围内继续创新和解决问题。
---煤油灯科技victorlamp.com翻译整理---








